3D Data Collection of Fish Microfossils and Data Analysis Based on Deep Learning

图文摘要:

ADMorph数据集的创建以及基于深度学习的自动分类方法的工作流程 (P.为属名Parathelodus缩写)

研究背景

通常，鱼类微体化石的鉴定分类程序复杂：古生物学家先将鱼类微体化石从岩石中分离出来；之后借助显微镜观察其形态特征，或者磨制成薄片，观察其组织学特征；最后查阅书籍、文献和化石图版等文献资料，结合自己的研究积累，定性或定量地鉴定和分类微体化石，例如通过几何形态测量和Q型聚类分析等方法来对鱼类微体化石分类 (Cui et al., 2020; Cui et al., 2019)。但是，这些方法都严重依赖于古生物学家对鱼类微体化石特征的观察、手动标记和测量，不仅耗费大量的时间还需要具有扎实的专业知识。本文介绍一种基于深度学习技术对鱼类微体化石进行自动分类的工作流程，包括鱼类微体化石三维数据的采集、建模以及分类等过程 (Hou et al., 2020)。本工作将深度学习技术应用到鱼类微体化石自动分类的研究中，该方法相比于传统分类方法具有明显的高效性和客观性。

材料与试剂

1. 醋酸溶液 (飞净, Phgene, 3%)

仪器设备

1. 显微工业CT (高能物理所，IHEP-IVPP, 225kV-μCT, 5007220)
2. 气动笔 (paleoTools, Micro Jack, MJT1)
   

软件

1. Mimics 19.0 (Materialise, https://www.materialise.com/zh-hans)
2. VGStudio 3.4 (Volume Graphics GmbH, https://www.volumegraphics.com/).
   

实验步骤

一、ADMorph数据集创建

1. 微体化石挑选
   创建数字形态学档案 (ADmorph) 数据集首先要挑选适合建立该数据集的化石标本，本文选取产自灰岩和泥灰岩中的鱼类微体化石作为该数据集的主要数据来源。由于微体化石的围岩主要成分是碳酸盐，而微体化石的主要成分是磷酸盐，因此我们使用稀释的醋酸溶液 (3%-7%) 对岩石样本进行浸泡处理，使得围岩溶解释放出未溶解的固体混合物。然后，用具有不同尺寸网眼的筛子分离出微体化石与未溶解矿物小颗粒的混合物。最后，将其烘干并在显微镜下挑选出用于创建ADMorph数据集的微体化石。
   
2. 显微CT扫描
   鱼类微体化石直径通常小于5 mm，需要较高的空间分辨率才能观察到微体化石的显微结构，例如纹饰、髓腔孔和脊状纹饰等。本文选取225 kV-μCT (Wang et al., 2019) 对鱼类微体化石进行显微CT扫描完成ADMorph数据集的数据采集工作。首先，根据不同样品的X射线衰减系数选取合适的X射线能量状态，通常情况下X射线穿过样品后，样品的计数应为背景计数的10%以上获取较好衬度的CT图像，同时通过增减滤片保证背景计数不超过探测器量程的80%。然后，需要完成样品扫描前的探测器校准工作，主要包括暗场校正、增益校正和坏像素校正，打开X射线源，并保存该状态下的X射线属性。之后，进行样品预扫描，机械系统转台旋转360 °，连续采集投影预览图，并保持样品一直在探测器的有效视野中。最后，将样品放置在圆柱形塑料容器中并用保鲜膜或珍珠棉等低密度材料作为填充物加固样品，保证样品在扫描过程中稳定不晃动，将容器放置于转台上进行360 °显微CT扫描。
           显微CT扫描过程主要由投影图数量以及曝光时间控制采集图像的质量和速度。鱼类微体化石样品的显微CT扫描参数为：电压100 kV，电流100 μA，旋转360 °，步幅为0.25 °，体像素大小5.96 μm，投影图数量1,440，曝光时间1000 ms，使用1 mm的铝片过滤X射线的低能部分并抑制射束硬化伪影 (Van Gompel et al., 2011)，将采集的投影数据通过GPU加速的FDK算法 (孙翠丽等., 2008) 重建成1,536张2,048 × 2,048像素的二维图像，图1为西屯组微体化石从投影图数据转换成CT断层图数据的过程。
   
   
   图1. 微体化石CT断层图生成过程 (A) 微体化石CT投影图；(B) 微体化石sinogram图；(C) 微体化石CT断层图。
   
   
3. 化石三维模型创建
   使用三维图像处理软件对鱼类微体化石CT断层图进行可视化和分析工作生成三维模型。本文选用Mimics软件对鱼类微体化石的CT断层图实现数据读取、选取感兴趣区域 (region of interest, ROI)、图像阈值分割 (Buie et al., 2007)、区域生长 (Dehmeshki et al., 2008) 以及体绘制 (Calhoun et al., 1999)、数据导出等功能。首先，通过Mimics软件导入微体化石CT断层图RAW文件并选取ROI，充分利用图像的有效视野，将微体化石周围的空气背景尽量去除，压缩CT体数据的数据量，为后期的图像处理减轻计算压力。然后，通过优化直方图上的灰度值范围，增强微体化石、保鲜膜以及空气的对比度，使用阈值分割的方法将三者分割开。使用区域生长方法选取每一个微体化石的“种子”点，将所有连接到种子点的体数据提取出来，进而生成每一个微体化石的三维图层，并通过不同颜色加以区分。最后，采用基于移动立方体算法 (MarchingCubes, MC) 进行表面体绘制渲染 (Lorensen and Cline, 1987)，利用MC渲染算法对图像分割的三维图层进行等值面渲染生成一个可视化的三维模型，图2为西屯组微体化石CT断层图进行三维模型表面体绘制的过程。
   
   
   图2. 西屯组微体化石CT断层图表面体绘制过程 (A) CT断层图；(B) 阈值分割；(C) 区域生长；(D) 表面体绘制。
   
   
4. ADMorph数据集
   经过对采自云南曲靖志留纪罗德洛世关底组及早泥盆世西山村组、西屯组的早期脊椎动物化石进行筛选、显微CT扫描、三维建模等流程化的化石三维数字化工作，本文创建了名为数字形态学档案 (ADMorph) 的大规模微体化石三维模型数据集。目前，ADMorph数据集包含10,000余枚来自于五大早期鱼类 (无颌类,盾皮鱼类,硬骨鱼类,软骨鱼类和棘鱼类) 化石的骨片、牙齿及鳞片的三维虚拟模型，ADMorph数据集中所有的微体化石三维模型及其详细信息已经发布在可以公开访问的数字形态学档案数据开源社区，网址是http://admorph.ivpp.ac.cn/。
   

二、基于深度学习技术的微体化石三维模型分类方法

1. 多视图数据表示
   本文选取基于多视图卷积神经网络 (Multi-view CNN, MVCNN) (Su et al., 2015) 对微体化石三维模型进行自动分类和识别。该方法首先对需要分类的三维模型进行多视图数据表示，本文采用C++作为主要的编程语言，同时结合OpenGL和OpenCV等第三方开源代码库，Qt做为用户界面应用程序开发框架，开发采集三维模型多视角视图的工具。该工具的虚拟摄像头对准微体化石三维模型的中心，摄像头所在轨道与水平方向保持一致，逆时针方向环绕微体化石三维模型旋转360 °，每隔30 °获取一张二维图像。虚拟摄像头获取了每个三维模型的12个视角视图 V = {v₁,v₂,⋯,v₁₂ } 作为微体化石三维模型多视图数据表示，并且每一个视角 v_i 用 224 × 224 × 3 图像矩阵表示，如图3所示微体化石三维模型多视图数据表示过程。
   
   
   图3. 微体化石三维模型视图渲染过程 (A) 可视化工具；(B) 获取12个视图
   
   
2. 微体化石三维模型识别
   本文选取MVCNN网络结构对微体化石三维进行自动识别和分类，使用VGG16 (Simonyan and Zisserman, 2014) 网络提取三维模型的多视图特征向量，VGG16模型共包含13个卷积层，5个池化层和3个全连接层。卷积层和全连接层具有权重系数也称为权重层，权重层总数目为13 + 3 = 16层，所以称为VGG16卷积神经网络。VGG16使用带有 3 × 3 小型卷积核进行卷积操作提取输入图像的特征，随后使用 1 × 1 的卷积核改变输入的通道数。卷积操作的步长设为1，空间池化方式选用最大值池化方法，使用步长为2的 2 × 2 的图像块进行下采样。由三层全连接层进行图像分类前两层有4,096个通道，第三层根据ILSVRC分类包括1,000个通道，最后一层也叫作Softmax层，用于多分类神经网络的输出，VGG16网络的所有隐藏层后面的激活函数为线性整流 (rectified linear unit, ReLU) 函数。为了适应ADMorph数据集的数据特点，本文将VGG16网络结构的最后3层，进行了重新定义，包括2个全连接层和1个Softmax层。2个带有tanh激活函数的全连接层 (FC1和FC2) 用于减少特征向量的输出维数使得特征向量从1 × 1 × 4096转换成 1 × 1 × 1048，通过Softmax层将从ADMorph数据集提取的视图序列特征向量进行分类，分类个数为ADMorph数据集中微体化石的种类。本文使用了迁移学习的方法，通过微调神经网络的方式修改和调整已经在ImageNet数据集中训练好的VGG16网络结构参数适应ADMorph数据集。将微调后的VGG16网络称为VGG16FT，使用VGG16FT中的最后一个全连接层FC2提取微体化石三维模型12个视角的特征向量 Z={Z₁,Z₂,⋯,Z₁₂ }，Z𝑖∈ℝ¹⁰⁴⁸_{。通过最大池化层Maxpooling将VGG16FT的 输出特征向量 𝑍 融合成单一特征向量} 𝒙𝑖∈ℝ¹⁰⁴⁸_{，最后使用Softmax分类器对融合成单一特征向量进行分类得到微体化石三维模型的分类结果。如图4所示为VGG16FT提取化石视图特征向量和分类的过程。}
   
   
   图4. VGG16FT网络提取微体化石视图特征向量和分类的过程 (P.为属名Parathelodus缩写)
   
   

数据分析

为了训练和测试基于深度学习技术的微体化石三维模型分类方法的网络模型，本文从ADMorph数据集中选取其中的2,010个经过古生物学家鉴定过的三维虚拟鳞片化石模型组成实验数据集。ADMorph数据集的实验数据集的虚拟三维模型种类包括Ostracoderms (Galeaspida indet., 105; Parathelodus asiaticus, 57; P. liaokuoensis, 100; P. wangi, 100), placoderms (Placodermi indet., 106), osteichthyans (Guiyu, 145; Youngolepis, 163; Psarolepis, 170), chondrichthyans (Gualepis, 888), 和 acanthodians (Acanthodii indet., 34; Nostolepis, 142)。随机将实验数据集分成了两个子集，训练集 (70%) 和测试集 (30%)，随机提取训练集中的20%数据构成验证集进行交差验证调整神经网络的共享参数。依据上述比例，将实验数据集随机划分30次，为了获取全局的统计数据例如均值，方差和置信区间等，这样可以更准确的验证本文所提出基于深度学习技术的微体化石三维模型分类方法准确率的可靠性，基于多视图卷积神经网络的微体古生物化石分类结果如表1所示。

表1. 多视图卷积神经网络分类结果

实验结论

本研究使用显微CT成像和图像处理技术创建了国际上首个ADMorph化石三维模型数据集，提供了一个为古生物学家进行生物形态学研究甚至计算机视觉领域的专家进行深度学习算法有效性验证开源的三维模型数据集。ADMorph数据集的建立过程分为以下3个步骤包括：(1) 微体化石挑选；(2) 显微CT扫描；(3) 化石三维模型创建等工作。同时，本文提出了一种基于深度学习技术的鱼类微体化石的数据分析方法，并取得了较好的分类效果，接近或达到模拟古生物学家的分类水平。本文提出的分类方法是国内首次将深度学习技术应用到化石三维模型分类的技术性研究，该方法对比传统的微体化石的分类方法具有明显的高效性和客观性。

致谢

本文工作得到了中国科学院战略性先导科技专项 (XDA19050102; XDB26000000)；国家自然科学基金项目 (41530102)；中国科学院前沿科学重点研究项目QYZDJ-SSW-DQC002联合资助。

利益冲突

我声明，作者没有符合NCSP定义的竞争利益或其他可能被认为影响本文报道的结果和讨论的竞争利益。

参考文献

1. 孙翠丽，戎军艳，魏存峰，傅国涛. (2008). 基于CUDA架构实现GPU加速FDK重建算法研究. 2008年全国射线数字成像与CT新技术研讨会，中国体视学学会，四川绵阳，2008年7月11日.
2. Buie, H. R., Campbell, G. M., Klinck, R. J., MacNeil, J. A. and Boyd, S. K. (2007). Automatic segmentation of cortical and trabecular compartments based on a dual threshold technique for in vivo micro-CT bone analysis. Bone 41: 505-515.
3. Calhoun, P. S., Kuszyk, B. S., Heath, D. G., Carley, J. C. and Fishman, E. K. (1999). Three-dimensional volume rendering of spiral CT data: theory and method. Radiographics 19: 745-764.
4. Cui, X., Qiao, T. and Zhu, M. (2019). Scale morphology and squamation pattern of Guiyu oneiros provide new insights into early osteichthyan body plan. Sci Rep-UK 9: 4411.
5. Cui, X. D., Li, Q., Qiao, T. and Zhu, M. (2020). New material of thelodonts from Lochkovian (Lower Devonian) of Qujing, Yunnan, China. Vertebrata PalAsiatica 58: 1-15.
6. Dehmeshki, J., Amin, H., Valdivieso, M. and Ye, X. (2008). Segmentation of pulmonary nodules in thoracic CT scans: a region growing approach. IEEE T Med Imaging 27: 467-480.
7. Hou, Y. M., Cui, X. D., Canul-Ku, M., Jin, S. C., Hasimoto-Beltran, R., Guo, Q. H. and Zhu, M. (2020). ADMorph: a 3D digital microfossil morphology dataset for deep learning. IEEE Access 8: 148744-148756.
8. Lorensen, W. E. and Cline, H. E. (1987). Marching cubes: a high resolution 3D surface construction algorithm. ACM siggraph computer graphics 21: 163-169.
9. Simonyan, K. and Zisserman, A. (2015). Very deep convolutional networks for large-scale image recognition. International Conference on Learning Representations.
10. Su, H., Maji, S., Kalogerakis, E. and Learned-Miller, E. (2015). Multi-view convolutional neural networks for 3d shape recognition. Proceedings of the IEEE international conference on computer vision.
11. Van Gompel, G., Van Slambrouck, K., Defrise, M., Batenburg, K. J., de Mey, J., Sijbers, J. and Nuyts, J. (2011). Iterative correction of beam hardening artifacts in CT. Med Phys 38: 36-49.
12. Wang, Y., Wei, C., Que, J., Zhang, W., Sun, C., Shu, Y., Hou, Y., Zhang, J., Shi, R. and Wei, L. (2019). Development and applications of paleontological computed tomography. Vertebrata PalAsiatica 57: 84-92.