Ceph开源文件系统使熨斗研究所的Extreme Scale HPC

这是一个很大的压力支持超过500名科学家分散在多个位置和HPC权力那些研究人员需要突破,但是熨斗研究所每天都这样做。

熨斗是西蒙基金会的内部部门,致力于推进科学研究。研究所集中其科学研究五个领域:天体物理学、生物学、数学、神经科学和量子物理学,利用现代计算工具来进一步的科学知识。

年前,熨斗对计算能力的需求很小。只有少数科学家支持的组织的联合服务器和桌面电脑。今天,数以百计的研究人员协会支持——位于分散办公室执行高度复杂的计算,建模和分析工作负载。

使用数据从强大的望远镜,熨斗研究所的克里斯·海沃德计算天体物理学中心的合作者建立了一个模拟物理模型和可视化星系团SPT2349-56并预测在未来它将如何改变。模拟这样一个需要数以百万计的CPU时间和生产10年代TBs的数据。图片由西蒙斯的基础。

这些研究人员需要熨斗的日益增长的需求为他们提供了更强大的计算资源与极端的可伸缩性和存储容量,和速度来处理不断增长的存储需求。鉴于这种熨斗的多样性研究人员的学科,学院的HPC架构也需要处理各种项目的能力在不影响性能。例如,天文学研究产生的大多数数据在模拟星系和黑洞。在光谱的另一端,基因组研究始于一个巨大数量的输入数据。因为不同学科之间的需求差异很大,熨斗研究所采用一种新颖的HPC存储解决方案部署使用开源Ceph软件定义存储作为最佳选择他们的需求。

利用Ceph的力量

Ceph是一个开源的分布式存储系统,提供可伸缩的、可靠的存储块,对象和文件存储在一个统一的系统。Linux基金会项目,Ceph包括贡献者来自企业,政府和学术组织推进,促进技术合作。

鉴于Ceph的灵活性,许多科学家们用它来支持他们的HPC存储系统。例如,惠普企业(HPE)和SUSE参考架构上工作了把,阿波罗存储服务器创建一个软件定义和认证的企业级Ceph存储解决方案。在另一个使用场景,运行Red Hat Ceph QCT服务器上存储使组织能够遍历场景对于不同工作负载和扩展到数千个节点。虽然这些场景展示的灵活性和可伸缩性Ceph提供熨斗研究所的HPC环境需要CephFS文件系统其局限性。Ceph提供熨斗研究所与几个好处,包括其文件(CephFS),块(RBD)和客体(RGW)接口数据,这样就可以在各种硬件上运行。

Ceph提供多个好处超过其他研究所高性能计算解决方案团队评估。Ian Fisk博士科学计算核心主任,熨斗研究所所说,“当过去的系统不能满足我们的科学家们日益增长的需求,我们失去了宝贵的科研时间。Ceph背后HPC系统,我们现在有规模、性能和可靠性,使突破性的科学。”

好处很多

熨斗HPC架构需要不会过时。随着科学家的数量和他们的工作数据集变得更大,学院必须迅速扩展能力系统。熨斗团队还需要HPC组件以满足研究人员的性能和数据完整性保证需求。另外,因为Ceph并不局限于一组特定的服务器或驱动器,熨斗有自由选择最适合他们的硬件。即使在升级,Ceph不遭受停机,所以科学家们从特殊支持的可用性Ceph中获益。Fisk博士补充道,“对我们来说,就在于它庞大的规模。数据集可以增长指数研究人员日益复杂的项目。Ceph和精心挑选的硬件到位,我们可以增加存储容量很容易在不影响性能和正常运行时间”。

Ceph基金会成员包括总理赞助商和成立公司,包括英特尔、红色帽子,三星,SUSE,西部数据等。许多其他公司加入了一般基金会的成员和支持者。该集团仍致力于开源社区Ceph更快的部署,更简单的管理和更容易使用。例如,Ceph的创始成员,英特尔多年来的努力集中在三个关键领域。首先,擦除编码的集成提供了几个大的存储效率的进步。BlueStore英特尔还作出了重要贡献,提供基本功能一致性组和技术使用CPU卸载加速压缩和加密。

第三个贡献使Ceph更容易管理。英特尔开发虚拟存储管理器(VSM),通常在开源社区被称为Ceph仪表板。能帮助oem确保一致性在使用预定义的标准集群配置。它还帮助安装和操作的可靠性,同时降低支持成本。扫描仪支持HPC集群使用的混合固态存储,SSD-cached hdd和硬盘驱动器。最终,这有助于HPC管理员组织目的服务器和存储设备的使用情况和性能特点。

其他英特尔捐款支持“车”,Kubernetes原生云存储协调器。因为车自动化许多任务存储管理员,它简化了活动,包括系统监控、配置、资源管理和灾难恢复。这些功能使管理员车极其有价值因为它有助于分布式存储系统执行任务自愈和自动存储服务扩展。

Ceph提供的其他进步的创始成员包括客户端和服务器端块和Ceph的对象缓存,使平均和尾巴延迟性能通过拥抱快速存储和内存技术。另外,前瞻性Ceph贡献将支持未来的NVMe, CXL、加速器和高性能、低延迟存储用例。

随着时间的推移,深红色的OSD项目旨在提高Ceph CPU性能和效率的场景快速网络设备和新存储和内存技术(如持久记忆和硫化锌ssd。

专家提示:从小事做起和成长

Fisk博士描述的熨斗使用Ceph时成功的关键。这个团队首先尽力找到最好的方法来管理Ceph,识别瓶颈和优化系统科学,第一测试工作负载,一个小规模的高性能计算平台。这种“从小事做起”的方法帮助他们扩大系统同时避免许多技术问题。

虽然开源系统可以在不同的硬件上运行,这些组件并不一定优化。以确保数据冗余,提高系统的正常运行时间,速度和可靠性,熨斗团队采用最佳实践和测试方法对硬件选择和可能的失败场景。

熨斗的HPC系统现在可以读和写迅速的超过4000个驱动器存储借助Ceph和第三代英特尔至强可伸缩的处理器。这些成分满足的强烈要求参与研究者的高度复杂的模拟。

安德拉斯帕塔基博士,博士学位,高级数据科学家,科学计算核心,熨斗研究所指出,“Ceph和Intel Xeon处理器为HPC提供我们一个无与伦比的组合。有最新的产品迭代之后,我们看到更快的网络性能两到三倍,结果我们的研究人员需要比以往任何时候都要快。另外,只有一个磁盘驱动器需要替换在过去的五年里。”

时间会告诉我们有多少突破熨斗研究所研究人员支持的实现。但他们一定会拥有所有的HPC权力需要许多年后的未来。

关于作者:

罗伯·约翰逊在他的职业生涯咨询一笔25科技公司。目前,Rob拥有微调,有限责任公司战略营销和通信咨询公司在波特兰,俄勒冈州。作为技术、音频和设备终身爱好者,抢劫也为TONEAudio杂志写道,回顾高端音响设备。

本文是作为英特尔的编辑程序的一部分,强调目标的尖端科学,研究和创新驱动的高性能计算和人工智能社区通过先进的技术。bet188真人出版商的内容拥有最终的编辑权限,并确定哪些文章发表。