应对大数据图像格式:集成CBF的NeXus HDF5,进度报告

新一代的x射线的大数据要求像素阵列探测器需要使用新的存储技术,我们满足现有的文件系统的限制。此外,这些探测器的模块化性质提供了机会来构造更复杂的探测器阵列(如Dectris皮拉图斯山探测器在I23 DLS),这反过来又需要一个更完整的探测器的几何描述。将所有这些组合在一起,产生一个需要结合最好的CBF / imgCIF(晶体二进制文件,一个完整的描述的实验),连结(一种常见的数据框架中子,x射线和μ介子科学,优雅地处理大型数据集)和HDF5(分层数据格式、版本5联系使用的高性能数据格式)在同步加速器等的管理数据。COMCIFS之间在2013年7月,讨论进展(CIF IUCr委员会维护标准)和NIAC (NeXus国际咨询委员会)在一个集成的本体。这些讨论的进展。一个概念验证API基于CBFlib HDF5 API是道林大学之间的合作开发,布鲁克海文国家实验室和钻石光源目前正在使用。映射和结合API继续发展。(见2014年1月计算晶体学通讯。)发布以来CBFlib CBFlib 0.9.2.12可以存储任意HDF5 CBF文件和恢复,支持使用HDF5 CBFlib按压的文件,并且可以将套miniCBF文件转换成一个关系文件。我们现在的新格式,与例子,与使用这种格式的含义为beamline软件开发人员和用户。