A 3D Segmentation & Reconstruction Method in Paleontology Using Drishti   

研究背景

X射线断层扫描技术已广泛用于医学，科学和工业领域 (Zhu et al., 2016; Kingston et al., 2018; Yin and Lu, 2019; Geier et al., 2020; O'Rourke et al., 2020; Taylor et al., 2020)。为了更好地运用和处理CT和同步辐射X射线相衬显微断层扫描成像生成的数据，三维可视化技术及其应用变得越来越重要 (Lautenschlager, 2016; Davies et al., 2017; Hoffmann et al., 2018; Semple et al., 2019)。在过去三十多年中，三维可视化领域一直在快速发展中，它采用了多种新技术和前沿的计算机算法来优化可视化结果并为研究人员提供更精准的数据分析手段 (Drebin et al., 1988; Upson et al., 1989; Westover, 1990; Hall and Watt, 1991; Cabral et al., 1994; Lacroute and Levoy, 1994; J Manssour et al., 2002; ohnson, 2004; Latham et al., 2008; Brodlie et al., 2012)。目前市面上已有很多功能完善的三维分割和重建商业软件，例如Mimics，VG Studio和AVIZO，这些软件能为三维物体表面和体渲染提供多功能和良好的渲染输出。但是，对于三维科学可视化领域中可免费获得且易于访问的开源软件的潜力、使用方法及其应用场景，目前学界尚未完全了解。
        Drishti (Limaye, 2012) 是开源的三维重建与渲染软件，可以直接针对扫描得到的三维数据执行重建 (使用本方法介绍的新工具3D Freeform Painter)。Drishti结合体绘制，体素射线投射和纹理切片等算法，使用局部和全局照明的组合以及2D传递函数 (2D Transfer Function) 对分割后的数据进行渲染。2D传递函数能将不同的颜色和不透明度整合到同一个体数据中，通过软件生成的不同的光量和不透明度的变化，再通过照明，阴影或非阴影塑造在不同的材质和纹理上加强体数据渲染的真实感。作为开源的体数据探索和体渲染软件，Drishti在各领域已经充分展示了其高质量的3D渲染能力和科研应用场景 (Cunningham et al., 2014; Lautenschlager, 2016; Sutton et al., 2017; ohnson and Carter, 2019)。
         三维分割 (3D Segmentation) 指的是按照图像序列分割感兴趣的区域，是理解目标对象内部结构的重要工具 (Carvalho et al., 2018; Kaur, D. and Kaur, Y., 2014; Lakare and Kaufman, 2000; Lautenschlager, 2016)。 本方法主要关注三维分割方法中的阈值使用，边缘检测，聚类或区域生长技术，以及使用不同的亮度，颜色或纹理对像素进行分组 (Kaur, D. and Kaur, Y., 2014)。
        接下来我们以化石鱼的CT扫描数据作为案例演示如何使用Drishti对CT数据进行三维重建、展示不同的三维重建方法并提供与三维重建相关的建议。我们还将介绍如何使用Drishti Paint v2.7执行有效而精准的三维分割，并讨论在Drishti新版本中如何生成表面数据的网格 (Mesh Generation) 和如何对网格进行优化 (Mesh Simplification)。
        相比表面渲染重建三维数据 (如Mimics) 来说，体渲染对计算机图形内存有较高的要求——图形处理单元 (GPU) -1 GB内存以上，和大于4 GB的随机存取内存 (RAM) 的图形卡，是运行Drishti的最低要求。Drishti对中央处理器 (CPU) 没有特殊要求。对于计算机配置没有达到要求的用户和读者，建议大家尝试使用其他开源软件，例如SPIERS (Sutton et al., 2012) 或是3D slicer (Dorador and Rodríguez-Tovar, 2020; Pye et al., 2019)。这两种软件都有出色的表面渲染效果并拥有处理表面数据的能力。

术语解释

1. 断层扫描 (Tomography)：通过不同类型的穿透波对扫描物体进行切片式成像。现普遍用于放射学，材料科学，医学，生物学等科学领域。
2. 计算机断层扫描 (CT，Computed tomography)：该方法用一束窄的 X 射线瞄准扫描物体并围绕物体进行快速旋转，产生的信号由计算机处理以后将生成横截面图像或切片。这些切片被称为断层图像 (tomographic images)。
3. 表面模型 (surface models): 将物体的外观表面以多边形或参数化表面来定义。
4. 体数据 (Volumetric data)：由一组二维图像切片堆叠在一起形成的三维体积数据。
5. CT数据 (CT data)：CT扫描后获得的数据，一般为二维的切片，即断层图像。 可用于三维分割和三维重建等。
6. 三维重建 (3D reconstruction)：运用二维切片(断层图像)恢复被扫描物体的三维信息。
7. 三维分割 (3D segmentation)：将三维成像模式(如计算机断层扫描或核磁共振成像扫描仪) 获取的数据标记和分割后得到感兴趣的区域。
8. 体渲染 (volume rendering)：计算机图形学和科学可视化中使用的一种方法，用于从离散采样的3D数据集中创建2D投影将2D的图像体积直接显示为3D对象。体渲染具备识别和分类相关信息，特别是颜色和不透明度的优势，并能根据有关信息将他们分配给相对应的体素 (voxels)。
9. 表面渲染 (surface rendering)：计算机图形学和科学可视化中使用的一种方法，仅使用重建后的3D数据集的一部分图像来进行渲染。通常通过定义一个阈值来进行重建。
10. 3D打印 (3D printing)：使用三维模型制作物理对象的过程，通常通过连续铺设多个薄层材料完成3D打印。
    

研究材料

本研究使用的是在澳大利亚首都堪培拉附近 (Burrinjuck, Canberra, Australia) 发现的四亿年前化石盾皮鱼 (ANU V244，澳大利亚国立大学，堪培拉) 高精度CT扫描数据。该标本于2015年在ANU CTLab进行了扫描 (Hu et al., 2017)，分辨率为21 μm。

数据和教程

为了保留原始的CT数据，我们将此研究案例的数据保存为16位图像系列。如果原始数据支持保存为16位图像，建议保存为16位以保证重建时的准确性。该案例数据被加载到Drishti Import v2.7中。通过直方图提高数据对比度，并在断层图上选择最佳范围来对原始切片进行过滤。裁剪整个标本的原始数据，将重点放在选定的感兴趣区域，即右侧颊部。将右侧颊部作为研究案例进行三维分割和重建。所选感兴趣区域的原始数据以体数据格式 (* .pvl.nc) 保存，案例数据和详细教程 (包括研究方法的步骤拆解，软件使用流程等) 可以从Figshare下载链接：10.6084 / m9.figshare.12073809。

研究方法概述

在本方法中，我们将重点介绍Drishti Paint模块的操作流程以及Drishti的一些实用性操作技术。Drishti Paint使用多种基于不连续性检测和相似性检测的图像分割的方法。这两种图像分割方法在Drishti Paint中以两种模式实现，即 “Graph Cut” 和 “ Curve” (以前称为livewire)。
        Drishti软件具有三个模块：Drishti Import (导入)，Drishti Renderer (渲染) 和Drishti Paint (绘制)。这三个模块具有不同的功能且各有侧重点，为确保重建和渲染的准确性和精确性，往往需要将三个模块结合使用。基本操作流程见图1。


图 1. 操作 Drishti v2.7 的一般工作流程 该图中的数据格式以缩写形式给出

        以化石盾皮鱼CT数据为例，我们对它的颊部进行了三维分割 (图2)，首先，我们对化石鱼整个头骨 (图2a-b) 感兴趣区域在Drishti Import中进行了裁剪 (图2c)，然后用Drishti Paint对颊部区域进行了三维重建 (图2d-e)。通过使用标记功能 (Cropping) 提取感兴趣区域，将感兴趣区域作为新的CT数据导出。Drishti Paint v2.7中的多阈值处理 (即同时使用值阈值 (Values Thresholding ) 和梯度阈值 (Gradient Thresholding) 处理) 通常是对CT数据进行三维分割和重建的第一步 (图2d)，梯度阈值与值阈值的结合使用能更精确地标识不同相位之间的边界，这将使三维重建的过程变得更加容易。在Drishti Paint中可以实现三维数据在数学形态上的两种转换 (即扩散 (Dilation) 和侵蚀 (Erosion))。扩散将像素添加到图像中对象的边界，而侵蚀则反之，会移除对象边界上的像素。形态扩散使物体更明显，并填充了物体上的小孔。形态侵蚀去除了小物体，从而仅保留了实质性物体。这两个转换能够以任何顺序使用。本方法中我们将这两个转换与Graph Cut和3D Freeform Painter结合使用。当使用对比度较高数据时，这两个转换更为有用，因为通过执行多次转换来更改输入数据集形态的风险相对复杂数据较低。我们建议在进行多次转换之前保留原始数据的副本，以免因为数学形态转换造成数据形变时的原始数据丢失。


图 2. 在 Drishti v2.7 中提取的三维模型 (a) 化石鱼标本 (v244) 的原始CT数据；(b) Drishti Render v2.7 (头骨右侧视图) 中的原始数据，方框内代表所选的感兴趣区域；(c) (d) Drishti Paint v2.7 中的感兴趣的区域，图中橙色部分为选中的感兴趣区域；(e) 在 Drishti Render v2.7 (外部视图) 中提取的颊部区域。

        分割后的颊部单元可以另存为曲面网格类型的表面数据 (图3)。本案例使用的数据和结构比较复杂 (鱼的上颌软骨表面骨化，并愈合到颊部内侧)，因此需要对颊部单元的内表面进行简化。不同网格简化程度给出了不同数量的顶点，这对生物信息的表示以及细节的检测会产生影响 (图3)。当简化更多的三角面时，表面文件大小也会随之减小，从而可以更为便捷的共享三维模型 (Lakare and Kaufman, 2000)。通过比较丢失或保留的细节数量 (图3中的箭头)，我们建议使用平滑因子参数2和50%的抽取参数 (图3e，f)。该操作能使数据大小减半，同时最大程度保留有用信息。生成的三维表面数据模型可以用于3D打印 (Hu et al., 2019)、建立3D便携式文档 (Tesařová et al., 2019)、对研究成果进行检验、为功能形态学研究提供帮助、以及应用于科学交流和公众宣传中(Rahman et al., 2012)。


图 3. 图 2e 中提取的颊部区域的三维表面网格，显示附有软骨的颌骨内面 总结了不同网格简化应用后三角面数和文件大小的差异。三角面数在 MeshLab v1.3.4 (Cignoni et al., 2008) 中计算。箭头表示在不同简化参数下比较详细结构的参考点 (见文中讨论)。

结论

Drishti可以为研究者提供更准确的三维重建，渲染和3D打印的结果。新功能和操作流程可以广泛应用于生物，医学和地球科学研究中对断层扫描数据的分割，重建和其他形式的体数据的处理中。

软件安装说明

Drishti v2.7 (Windows和Linux版本) 可从以下网址获得：https://github.com/nci/Drishti。点击 Drishti v2.7.zip 下载 Drishti。Drishti v2.7可以在 Windows 和 Linux 操作系统上运行。

致谢

我们感谢T. Senden教授为研究提供各类基础设施，CT扫描以及对古生物学研究的支持。我们感谢G. Young博士提供标本；M. Turner博士对标本进行了CT扫描；L. Beeching博士为实验室提供服务和设备的支持；感谢Russell Garwood博士参与测试Drishti v2.7的Linux版本。感谢二位匿名审稿人对本文初稿提出的重要修改意见。本研究得到了中国科学院战略性先导专项B类 (XDB26000000) 和国家自然科学基金 (41872023)、国家优秀青年基金 (42022011) 的资金支持。Drishti的开发和发展得到了澳大利亚国家计算基础设施部门的长期支持。澳大利亚国立大学物理研究学院应用数学系和ANU CT实验室对CT扫描和3D打印提供了设备支持，该部分由T. Senden教授和澳大利亚研究理事会发现基金DP160102460资助。

参考文献

1. Brodlie, K. W., Carpenter, L. A., Earnshaw, R. A., Gallop, J. R., Hubbold, R. J., Mumford, A. M., Osland, C. D. and Quarendon, P. (2012). Scientific visualisation: techniques and applications. Springer Science & Business Media. B erlin. ISBN: 9 783642769443.
2. Cabral, B., Cam, N. and Foran, J. (1994). Accelerated volume rendering and tomographic reconstruction using texture mapping hardware. In: Kaufman, A. and Krueger, W. (Eds.). In: Proceedings of the 1994 symposium on Volume visualisation. Association for Computing Machinery, 91-98.
3. Cunningham, J. A., Rahman, I. A., Lautenschlager, S., Rayfield, E. J. and Donoghue, P. C. (2014). A virtual world of paleontology. Trends Ecol Evol 29(6): 347-357.
4. Carvalho, L. E., Sobieranski, A. C. and von Wangenheim, A. (2018). 3D segmentation algorithms for computerized tomographic imaging: a systematic literature review. J Digit Imaging 31(6): 799-850.
5. Davies, T. G., Rahman, I. A., Lautenschlager, S., Cunningham, J. A., Asher, R. J., Barrett, P. M., Bates, K. T., Bengtson, S., Benson, R. B., Boyer, D. M., Braga, J., Bright, J. A., Claessens, L. P., Cox, P. G., Dong, X. P., Evans, A. R., Falkingham, P. L., Friedman, M., Garwood, R. J., Goswami, A., Hutchinson, J. R., Jeffery, N. S., Johanson, Z., Lebrun, R., Martínez-Pérez, C., Marugán-Lobón, J., O'Higgins, P. M., Metscher, B., Orliac, M., Rowe, T. B., Rücklin, M., Sánchez-Villagra, M. R., Shubin, N. H., Smith, S. Y., Starck, J. M., Stringer, C., Summers, A. P., Sutton, M. D., Walsh, S. A., Weisbecker, V., Witmer, L. M., Wroe, S., Yin, Z., Rayfield, E. J. and Donoghue, P. C. (2017). Open data and digital morphology. Proc Biol Sci 284(1852): 20170194.
6. Dorador, J. and Rodriguez-Tovar, F. J. (2020). CroSSED sequence, a new tool for 3D processing in geosciences using the free software 3DSlicer. Sci Data 7(1): 270.
7. Geier, B., Sogin, E. M., Michellod, D., Janda, M., Kompauer, M., Spengler, B., Dubilier, N. and Liebeke, M. (2020). Spatial metabolomics of in situ host-microbe interactions at the micrometre scale. Nat Microbiol 5(3): 498-510.
8. Hall, P. M. and Watt, A. H. (1991). Rapid volume rendering using a boundary-fill guided ray cast algorithm. In: Patrikalakis, N. M. (Ed.). In: Scientific Visualization of Physical Phenomena. Springer, 235-249.
9. Hoffmann, R., Lemanis, R. E., Falkenberg, J., Schneider, S., Wesendonk, H., Zachow, S. and Brayard, A. (2018). Integrating 2D and 3D shell morphology to disentangle the palaeobiology of ammonoids: a virtual approach. Palaeontology 61(1): 89-104.
10. Hu, Y. Z., Lu, J. and Young, G. C. (2017). New findings in a 400 million-year-old Devonian placoderm shed light on jaw structure and function in basal gnathostomes. Sci Rep 7(1): 7813.
11. Hu, Y. Z., Young, G. C. and Lu, J. (2019). The Upper Devonian tetrapodomorph Gogonasus andrewsae from Western Australia: Reconstruction of the shoulder girdle and opercular series using X-ray Micro-Computed Tomography. Palaeoworld (28): 535-542.
12. Johnson, C. (2004). Top scientific visualization research problems. IEEE Comput Graph Appl 24(4): 13-17.
13. Johnson, E. H. and Carter, A. M. (2019). Defossilization: a review of 3D printing in experimental paleontology. Front Ecol Evol 7: 430.
14. Kaur, D. and Kaur, Y. (2014). Various image segmentation techniques: a review. International Journal of Computer Science and Mobile Computing (3): 809-814.
15. Kingston, A. M., Myers, G. R., Latham, S. J., Recur, B., Li, H. and Sheppard, A. P. (2018). Space-Filling X-ray source trajectories for efficient scanning in large-angle cone-beam computed tomography. IEEE T Comput Imag 4(3): 447-458.
16. Lacroute, P. and Levoy, M. (1994). Fast volume rendering using a shear-warp factorization of the viewing transformation. Proceedings of the 21st Annual Conference on Computer Graphics and Interactive Techniques, Association for Computing Machinery, New York, NY. 1994
17. Latham, S. J., Varslot, T. K. and Sheppard, A. P. (2008). Automated registration for augmenting micro-CT 3D images. Anzian J. 50: C534-C548.
18. Lakare, S. and Kaufman, A. (2000). 3D segmentation techniques for medical volumes. Center for Visual Computing, Department of Computer Science, State University of New York. 2000: 59-68.
19. Limaye, A. (2012). Drishti: a volume exploration and presentation tool. Proc. SPIE 8506, Developments in X-Ray Tomography VIII, 85060X (October 17, 2012). SPIE.
20. Lautenschlager, S. (2016). Reconstructing the past: methods and techniques for the digital restoration of fossils. R Soc Open Sci 3(10): 160342.
21. Manssour, I. H., Ergio, S., Furuie, S. S., Olabarriaga, S. D. and Freitas, C. (2003). Visualizing inner structures in multimodal volume data. Proceedings. XV Brazilian Symposium on Computer Graphics and Image Processing 51-58.
22. O'Rourke, J. C., Smyth, L., Webb, A. L. and Valter, K. (2020). How Can We Show You, If You Can't See It? Trialing the Use of an Interactive Three-Dimensional Micro-CT Model in Medical Education. Anat Sci Educ 13(2): 206-217.
23. Pye, F., Raja, N. B., Shirley, B., Kocsis, D. T. and Jarochowska, E. (2019). ImageJ and 3D Slicer: open source 2/3D morphometric software. PeerJ Preprints (7): e27998v2.
24. Rahman, I. A., Adcock, K. and Garwood, R. J. (2012). Virtual fossils: a new resource for science communication in paleontology. Evo Edu Outreach 5(4): 635-641.
25. Sutton, M. D., Garwood, R. J. and Siveter, D. J. (2012). Spiers and VAXML; a software toolkit for tomographic visualisation, and a format for virtual specimen interchange. Palaeontologia Electronica15(2): 396-396.
26. Sutton, M., Rahman, I. and Garwood, R. (2016). Virtual paleontology—an overview. The Paleontological Society Papers 22: 1-20.
27. Semple, T. L., Peakall, R. and Tatarnic, N. J. (2019). A comprehensive and user-friendly framework for 3D-data visualisation in invertebrates and other organisms. J Morphol 280(2): 223-231.
28. Tesařová, M., Heude, E., Comai, G., Zikmund, T., Kaucka, M., Adameyko, I., Tajbakhsh, S. and Kaiser, J. (2019). An interactive and intuitive visualisation method for X-ray computed tomography data of biological samples in 3D Portable Document Format. Sci Rep 9(1): 14896.
29. Taylor, G. J., Hall, S. A., Gren, J. A. and Baird, E. (2020). Exploring the visual world of fossilized and modern fungus gnat eyes (Diptera: Keroplatidae) with X-ray microtomography. J R Soc Interface 17(163): 20190750.
30. Upson, C., Faulhaber, T., Kamins, D., Laidlaw, D., Schlegel, D., Vroom, J., Gurwitz, R. and van Dam, A. (1989). The application visualisation system: a computational environment for scientific visualisation. IEEE Comput Graph Appl (9): 30-42.
31. Westover, L. (1990). Footprint evaluation for volume rendering. Proceedings of the 17th annual conference on Computer graphics and interactive techniques, Dallas, TX, USA: Association for Computing Machinery 1990.
32. Yin, Z. J. and Lu, J. (2019). Virtual Palaeontology: when fossils illuminated by X-ray.Palaeoworld 28 (4): 425-428.
33. Zhu, M., Ahlberg, P. E., Pan, Z., Zhu, Y., Qiao, T., Zhao, W., Jia, L. and Lu, J. (2016). A Silurian maxillate placoderm illuminates jaw evolution. Science 354(6310): 334-336.