南非采集如何应对前所未有的计算需要解决COVID-19流行病

的南非高性能计算中心(采集)已加入的高性能计算中心融合他们超级计算和云基础设施。1.3次Lengau超级计算机已经最快的机器在欧洲大陆。加入OpenStack生产云在2020年初开始允许用户利用精心设计的通用计算和存储资源。但是,当南非封锁在3月26日,2020年,由于COVID-19,国家的计算需求大大超越Lengau提供的资源和生产OpenStack云。

超级计算在采集

作为一个关键的大型计算中心在非洲,南非采集同时支持学术和工业研究,以及最近的努力确定SARS-CoV-2的南非变体。安装在2016年,Lengau集群及其光泽并行文件系统已经使用在几个旗舰项目supercomputing-level资源,包括先进的气象建模 , 能源存储材料,猫鼬数组。它也造成了资源支持通过商业项目南非发展合作(SADC)和在其他国家在非洲,包括加纳和肯尼亚。2017年,采集加入了平方公里阵列(斯卡)项目提供的计算能力平方公里列阵的科学数据处理机(SDP)。平方公里列阵的很大一部分在南非正在建造中。


艺术家的印象5公里直径的平方公里阵列的核心(SKA)天线(作者:SPDO / TDP / DRAO /斯文本科技大学天文学作品,由南非大学)。

自Lengau安装、越来越多的采集研究和行业用户采集的计算影响景观,需要一个新的看他们的基础设施。

“除了超级计算,研究人员还需要non-HPC,通用计算支持,“多拉Thobye说,对高性能计算资源的技术经理。“他们想远程存储数据,所以他们需要一个更典型的处理和存储环境而不是Lengau和光泽的并行文件系统。”

采集开始与虚拟环境中满足这些需求建立在VMware虚拟机,同时仍然使用原有的光彩。但拥挤的光泽文件系统的要求越来越高,减缓Lengau性能30 - 40%,根据采集。应对存储挑战了采集建筑师在一个不同的方向。

“就像大型强子对撞机的Atlas探测器的数据,计算SDP数据将在许多国家和用户之间共享,“快乐Sithole博士解释说,采集的导演。

支持阿特拉斯的计算模型是基于云服务,导致采集到一个本地,私有云。

“有几个原因考虑私有云,“Sithole。“既然我们支持许多政府和企业,我们需要解决他们的问题,如将部署实例和数据主权。我们想要更好地控制其架构、访问和安全。私有云的选择给我们的利益相关者更有信心。”

像英国剑桥大学科学云,这也是一个SKA项目的主要成员,采集云建在OpenStack, OpenStack CEPH存储软件。

“OpenStack为世界各地的用户提供了一个透明的环境分析SDP数据,“Sithole补充道。”和OpenStack提供我们现有的异构计算需求的基础和未来融合基础设施提供超级计算和通用服务。”

这个新系统是建立在超微型计算机TwinPro服务器2日创Intel Xeon处理器可伸缩和每个节点3 TB的内存。1.5 pb机械磁盘和超过220 TB的英特尔固态硬盘创建了一个CEPH集群存储与分层存储架构短期和长期存储。

“新云系统旨在支持许多虚拟的工作正在进行的相关研究,如自定义工作流,高兴地并行工作负载和网络托管、“Thobye评论。

委托于2020年3月23日,采集技术的开始将用户从VMware系统迁移到新的生产OpenStack云系统。3月26日,2020年,该国由于COVID-19封锁,一切都变了。

应对大流行

在政府机构发现自己争夺计算能力。卫生部需要巨大的计算和存储资源进行处理人口跟踪和追踪和其他相关数据。美国高等教育和培训所需资源,以解决远程学习项目,加上电视空白分析和可用带宽和必要的分析达到边远的社区。bet188真人其他计算和数据密集型项目地址SARS-CoV-2研究包括DNA测序和病毒研究。Lengau尽可能利用,但OpenStack生产云,最初设计为小得多的人口提供充足的资源的用户,是不知所措。

“因为大流行和它带给我们的所有新用户,我们的计算和存储资源,“Thobye解释道。

采集转向英特尔和戴尔帮助升级全新的云系统。OpenStack云生产扩张包括以下:

· 15个新的计算节点使用戴尔PowerEdge R640服务器与英特尔至强黄金6248处理器

· 26个新的存储节点使用戴尔PowerEdge R740XD2服务器与英特尔至强银4208,4210和4214处理器

· 60结核病的热数据存储使用英特尔固态硬盘直流驱动器

· 480 TB的机械存储

2020年代中期扩张完成后,进入生产总容量为2212计算核心,1.3 PB的冷库,130 TB的热存储(英特尔ssd)。额外的存储和计算能力的现有生产OpenStack云基础设施给用户所需的资源和响应时间。

”而不是连续使用率为100%,”Sithole博士评论道,“现在工作负载消耗从60岁提高到100%的计算能力,根据不同的活动。

扩大云支持正在进行的大流行性流感活动的高等教育和培训、卫生部门、大学研究,和其他公共和私人项目来解决需求的大流行。但它也为南非的路径采集的未来。

为一个新的前进道路

越来越多的高性能计算中心在世界各地创建混合基础设施。计算密集型、并行性能集群融合与数据分析、人工智能、机器学习(AI /毫升)和私有云架构来解决广泛的用户需求在一个基础设施的伞。的一部分,英国科学云的使命是支持SDP,英属哥伦比亚和西蒙弗雷泽大学建造他们的云处理来自大型强子对撞机Atlas探测器的数据。

“OpenStack提供了一个不同的数据中心,为用户提供“Sithole说。“这个实现是一个正确方向的一步,彻底改变我们的数据中心聚集的环境。我们认为这是计算密集型、数据密集型计算之间的连续体。它允许我们轻易地同时支持高性能计算研究和通用云计算在同一基础设施。”

根据Sithole博士,云也带来许多新的工具将允许用户利用新的环境。人工智能(AI)和机器学习(ML)库,集装箱化,和其他资源将帮助用户希望实现人工智能工作负载和探索科学问题的新方法。

“云平台进一步使采集收集必要的技术和操作专业开发、规定,并运营一个国家联合OpenStack平台,“Thobye。“这将使全球连通性在虚拟环境中对于大型项目,如平方公里阵列和相似的地位。”

在南非瘟疫爆发之前,采集驾驶其他英特尔技术,如英特尔Optane持久内存和英特尔Optane存储。采集预计这些技术层次记忆和存储能提高大内存处理性能和效率通过保持更多的数据接近处理复杂。这样的距离是很重要的工作负载与大量数据交互的斯卡。这些技术还可以加速基因组测序和组装。

一旦人口接种疫苗和病毒控制,采集生产的OpenStack云能够支持许多其他活动。更多的商业南非发展合作社的成员(SADC)可以利用简单的计算和存储资源的访问。更新天气模型正在探索,这将帮助非洲理解和处理其独特的天气事件,比如热带气旋袭击莫桑比克Chalane去年年底和今年年初埃路易斯登陆,和气候变化的影响。

“一旦COVID超出我们Sithole博士总结道,“我们已经在非洲不同的挑战。OpenStack平台给我们AI和其他工具,将帮助非洲独特的问题找到解决方案。这些挑战之一是传染病的问题。埃博拉病毒,例如,但埃博拉不是非洲人所面临的最严重的疾病。COVID和我们所学到的东西是你无法独自解决这些问题。必须有从大家一起共同努力找到治疗的问题。希望,这将加速吸收采集平台的这些独特的非洲问题我们可以找到解决方案。”

本文是作为英特尔的编辑程序的一部分,强调目标的尖端科学,研究和创新驱动的高性能计算和人工智能社区通过先进的技术。bet188真人出版商的内容拥有最终的编辑权限,并确定哪些文章发表。