Weathernews 使用 Elastic Fabric Adapter 和 AWS ParallelCluster 实现了超过 90% 的天气预报准确度

使用 AWS ParallelCluster 最多可提前 15 小时实现 10 分钟的预测间隔

Weathernews Inc. 是世界上最大的私营气象公司之一,也是全球天气预报的领导者。Weathernews 使用 AWS ParallelCluster 管理其计算资源,以产生前所未有的高分辨率预报,拥有 10 分钟的预报间隔,最多可提前 15 小时。云端HPC环境可以灵活采购大量计算资源,打造灵活应对负载波动的环境。通过使用 Amazon Web Services (AWS) Weathernews 实现了 90% 以上的预测准确度。

“使用 AWS,我们能够提前 15 小时以 10 分钟的预报间隔预报雨云。AWS 是一个平台,允许工程师自由发挥自己的想法并创建新服务。” – Tomohiro Ishibashi,Weathernews Inc.,董事总经理,执行官

实现气象学家梦想的新一步——更长期、更准确的预测

Weathernews 成立于 1986 年,是全球最大的私营气象公司之一,在全球主要城市设有销售和运营基地,服务于全球约 50 个国家。该公司的服务范围从航运和航空天气到铁路、公路和零售商天气。它还以其“天气新闻”移动应用程序而闻名。

大多数情况下,气象行业从政府机构获取基础信息。自成立以来,Weathernews 已经建立了自己的观测、通信网络、图像处理和分发基础设施。2005 年,该公司开发了原始天气分子 (OWN) 作为自己的天气预报模型。为了处理数据,它构建了一个内部部署的高性能计算 (HPC) 系统,该系统通过增加服务器数量不断增强。这使他们能够以一小时为间隔进行预测,最多可提前三天。此外,将人工智能 (AI) 技术应用于从应用程序用户收到的雷达和天气报告,可以提前 10 分钟进行预测,最多可提前 3 小时,每隔 1 小时可提前 15 小时进行预报。

“然而,有人指出,每隔一小时,‘雨云突然变得模糊不清,难以辨认’。近年来,雷暴或局部倾盆大雨等快速天气变化有所增加。这对应于对更长时期高分辨率预测的需求增加。此外,能够对未来进行详细的天气预报一直是我们气象学家的梦想。” Weathernews 董事总经理兼执行官 Tomohiro Ishibashi 说。

该公司随后开始寻找一种能够以 10 分钟为间隔进行预测的服务,最多可提前 15 小时。其目的是将之前的预测间隔从每六小时(一天四次)提高到每三小时(一天八次)。

采用 AWS ParallelCluster 灵活保护大量计算资源

主要挑战是采购预测所需的大量计算资源。预测中心开发团队负责人 Kohei Sakamoto 表示,“像我们之前所做的那样,添加本地资源需要大量投资”,并且随着服务器数量的增加,对故障和更高的运营负担的担忧也在增加。此外,6 月至 10 月在日本经历更频繁的台风和雷暴或局部倾盆大雨,因此比其他季节需要更多的计算资源。Weathernews 很难使用其本地环境以灵活的方式响应此类负载波动。

2018 年,Weathernews 开始探索使用 AWS ParallelCluster 的下一代 OWN 云实施。经过彻底验证后,于 2020 年 4 月决定采用 AWS ParallelCluster。“通过执行实际模型计算,我们使用 AWS ParallelCluster 实例数量、Elastic Fabric Adapter (EFA) 的有效性以及处理速度取决于实例类型,”预测中心开发团队的 Kazunari Takahashi 说。最初,在云 HPC 中使用 MPI(消息传递接口)时存在一些可扩展性问题,但实际测量显示速度提高了 5,000 个 vCPU。利用 EFA,一种低延迟网络适配器,适用于需要高带宽节点间通信的工作负载,例如基于 MPI 的工作负载,

为确保可靠性,该公司正在两个独立的 AWS 区域中构建一个主系统和一个子系统。处理通常会在北弗吉尼亚地区的主系统上进行,但如果发生故障,它将返回到东京地区的子系统进行再处理。此外,主系统环境使用 Amazon EC2 Spot 实例。Amazon EC2 Spot 实例是可用的备用计算容量,比按需实例定价最多可享受 90% 的折扣。该公司与 AWS 解决方案架构师合作配置系统以满足下一代系统的可用性、成本和性能要求。

为TA充电
共{{data.count}}人
人已赞赏
超级计算机

AMD 向法国组织捐赠Neowise 超级计算机集群,用于COVID-19研究

2021-7-22 0:57:18

超级计算机

新超算入驻卡尔斯鲁厄理工学院

2021-8-3 23:46:16

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索