杜伦大学试图解开宇宙之谜
几个世纪以来，科学逐渐揭开了天体物理学的谜题。尽管取得了进展，但许多细节仍然难以捉摸。什么机制驱动星系的形成?是什么物理原理使黑洞周围复杂的引力活动成为可能?科学家们认为暗能量占宇宙的75%，它的本质是什么?
宇宙不会轻易揭示这些秘密。杜伦大学的一个团队试图通过一个雄心勃勃的开源项目来改变这一切，这个项目被称为EAGLE-XL(星系及其环境的进化和组装)，以前所未有的细节水平模拟我们的整个宇宙。现代高性能计算(HPC)基础设施与最新的可视化技术和定制软件相结合，为研究人员解开一些最复杂的科学谜团提供了机会。
为了可视化宇宙的动力学，由杜伦大学宇宙学教授理查德·鲍尔领导的EAGLE-XL背后的团队计划从头开始——从字面上讲。他们的努力不仅是为了模拟今天在整个宇宙中观测到的质量和能量的多样性，而且是为了模拟数十亿年前大爆炸时刻的基本均匀状态。通过对宇宙从一开始膨胀的过程进行建模，鲍尔的团队可以从模拟中挖掘细节，更好地解释流体动力学和万有引力背后极其复杂的物理相互作用。反过来，这些发现提供了对恒星等大质量物体形成过程的见解，以及数十亿颗恒星如何汇聚形成星系。模拟还展示了恒星的生命周期，它们以各种方式结束生命，包括壮观的超新星爆炸，或者黑洞的大餐。此外，由此产生的信息将有助于揭示我们对宇宙的观察与今天研究人员提出和追求的理论之间的联系。
幕后故事
为了寻找鼓励恒星形成的密度和冷却过程的答案，鲍尔的团队开发了一种新的模拟代码，称为SWIFT (SPH With Interdependent Fine-grained Tasking)。SWIFT代码支持软件定义可视化(SDVis)，这是英特尔和行业合作伙伴之间的一项开源计划，可提高常用的以数据为中心的可视化解决方案的性能、分辨率和效率。因此，SWIFT可以捕捉到微小的细节，从而转化为更重要的科学见解。
杜伦大学计算宇宙学研究所的研究员马修·夏勒(Matthieu Schaller)是鲍尔的同事，他对这个项目的成就很满意。“我们终于能够解决几年前不可能完成的项目。简单地说，代码还没有出现。通过大量的合作工作，我们现在已经准备好探索新的科学。”
达勒姆早期的建模实验包含了70亿个粒子，占据了DiRAC超级计算机的4000个核心，持续了6个多星期，随后在较小的机器上进行了数月的后处理和可视化。虽然SWIFT代码的性能超过其前身Gadget 30倍，但模拟软件和硬件的每个方面都经过不断审查，以获得可能的性能优势。因此，在探索另一种物理模型时，同样的模拟可以以30倍的速度完成，而达勒姆大学的团队可以运行30倍的模拟来研究稀有物体。
针对典型星系形成问题的参考代码Gadget-2的SWIFT强尺度测试。SWIFT充分利用了Haswell节点的向量化能力，在更宽的矢量和更快的内存带宽下，Xeon Skylake的性能差距预计会更大。(资料来源:杜伦大学)
英特尔并行计算中心(Intel PCC)为达勒姆大学的工作做出了贡献，帮助优化和并行化模拟代码，以最好地利用新的英特尔至强处理器的板载功能。
随着代码的不断优化，现代处理器已经为模拟创造了显著的性能提升。最新的英特尔至强可扩展处理器，利用更宽的矢量寄存器和更高的总带宽，比过去的性能数字高出40倍以上。
克服I/O瓶颈
许多其他创新必须融合在一起，才能应对与创建人工宇宙相关的艰巨虚拟化挑战。随着SWIFT模拟复杂性的增加，软件必须容纳的数据集也变得越来越麻烦。在虚拟世界中使用和收集的大量信息给传统的存储过程带来了瓶颈。系统必须周期性暂停写入磁盘。即使使用Lustre并行分布式文件系统的高性能计算能力来处理大量数据集，高级模拟参数也需要更快的数据输入和输出(I/O)过程，以跟上将有意义的模拟数据写入磁盘以供现场科学家分析的步伐。为了最大化I/O, Durham团队还与HDF集团合作;一个非营利组织，致力于为研究人员推进开源数据管理技术。HDF集团的开发团队在有效操作海量数据集方面拥有卓越的专业知识。与他们的使命一致，HDF集团最新的分层数据格式发布(HDF5)的技术和工具不仅最大限度地提高了文件格式，而且还提供了管理数据的库和模型。通过与HDF开发人员合作，鲍尔的团队寻求最先进的方法来适应他们模拟中产生的tb级数据。
如今，Durham的DiRAC-2 HPC系统确实毫不逊色——由于软件优化，当利用256个节点和128个对象存储目标时，能够在短短80秒内写入1.5 tb的数据。在这个速度下，该团队相信它已经达到了90%的基于lust配置的可能性能限制。尽管如此，他们仍在追求更高的标准，并在欧洲顶级的高性能计算系统上进行常规模拟。
团队的努力
Durham的下一个创新方法涉及使用流I/O来提高数据传输速度。由于EAGLE-XL的数据集非常大，存储这些信息证明是具有挑战性的。一种不同的实时数据分析方法可以证明对整个过程非常有益。这个想法需要监控每个模拟粒子，如果任何值发生预定义量的变化，该变化将被记录到一个文件中。团队无需处理整个数据集，而是可以通过立即记录差异来获得实质性的性能增强，然后在完成测试运行后再担心大数据存储问题。该过程减少了模拟后处理所需的时间，最终减少了整个模拟过程的科学时间。根据Schaller的说法，“每个MPI等级一个文件，[集群中的一个计算节点]避免了网络压力和远程存储。最终，这使整个过程更快，而不会失去准确性。我们的下一步是扩大使用非易失性存储器。”除了增强流I/O机制外，杜伦大学还与位于珀斯的西澳大利亚大学(UWA)的国际射电天文学研究中心(ICRAR)合作开展了另一个关键步骤。对于大量的数据集，一种可以实时分析的机制被证明是非常有益的。该小组计划一起调整和优化西弗吉尼亚大学的VELOCIraptor分析工具，该工具通过快速识别星系和有趣的事件来辅助天体物理学模拟，用于EAGLE-XL项目的其他元素。
普遍的突破
即使有了这些巨大的优势，达勒姆团队仍然坚持不懈地追求他们对速度的持续需求，包括在全球其他强大的高性能计算系统上增加计算时间的可能性——比如德克萨斯高级计算中心的Stampede2系统——以展示在40,000个英特尔至强可扩展处理器内核上的规模。只要有资金支持该项目，EAGLE-XL将继续推动科学的发展。在世界各地许多人的支持下，杜伦大学的研究小组包括佩德罗·冈内特、艾丹·乔克、彼得·德雷珀、詹姆斯·威利斯、乔希·博罗、洛伊克·豪斯曼和伯特·范登布鲁克，他们仍然致力于克服阻挡在宇宙揭示道路上的任何剩余障碍。
然而，目前的努力产生了一些引人入胜的细节。例如，鲍尔指出，“我们知道黑洞将决定宇宙未来的命运。”夏勒还反思了迄今为止研究的启示。“我们知道宇宙中有比重力和流体力学更多的东西。精确描述宇宙的复杂物理学涉及气体冷却、恒星形成、恒星演化和许多其他现象。在天体物理学家的帮助下，我们可以开发‘新物理学’，然后利用自动矢量化将其集成到我们的模拟系统中，并进一步扩展我们的科学工作。”
通过在SWIFT中建立灵活性，天体物理学家可以基于不同的理论和物质与能量的比例来测试许多宇宙的模拟。这一过程将帮助科学家探索可能导致一个不同于我们生活的宇宙的模型。可能存在平行宇宙吗?如果是这样，它们会是什么样子?从理论上讲，它们能像我们一样鼓励生命吗?
基于这些发现和更多的发现，该团队未来的工作可能会重新定义我们对组成宇宙的质量和能量成分之间相互作用的理解，让我们洞察一切。
罗布•约翰逊(Rob Johnson)职业生涯的大部分时间都在一家《财富》(Fortune) 25强科技公司做咨询。目前，罗伯拥有微调，LLC这是一家总部位于俄勒冈州波特兰市的战略营销和传播咨询公司。作为一名技术、音频和小工具爱好者，Rob还为TONEAudio杂志撰写文章，评论高端家庭音频设备。
本文是英特尔HPC编辑计划的一部分，旨在通过先进技术突出HPC社区推动的尖端科学，研究和创新。内容的发布者拥有最终编辑权，并决定发布哪些文章。
