Швейцарский суперкомпьютер восстановил 100 петабайт климатических данных NASA

ETH Zurich перенесла около 6 млрд файлов на суперкомпьютер Alps, чтобы обучать модели погоды и сохранить многолетние наблюдения за атмосферой, океанами и ледниками

Исследователи из Швейцарской высшей технической школы Цюриха (ETH Zurich) скопировали около 100 петабайт открытых данных NASA и передали в швейцарский суперкомпьютерный центр CSCS в Лугано. Объём архива составил примерно 6 млрд файлов — столько данных пришлось бы записывать с нуля.

Перенос занял около года. В архив вошли многолетние наблюдения за климатической системой Земли: данные о концентрации парниковых газов, облачности, осадках, ледяных щитах и других процессах в атмосфере и океанах. В дальнейшем исследователи планируют также скопировать крупные массивы данных американского Национального управления океанических и атмосферных исследований (NOAA).

Главная цель проекта — использовать эти данные для обучения ИИ-моделей, способных прогнозировать погоду, климатические изменения и природные катастрофы. По словам учёных, новые модели на основе машинного обучения уже способны выполнять некоторые прогнозы значительно быстрее традиционных систем, основанных на физических уравнениях.

Например, вместо часов вычислений для глобального прогноза погоды на несколько дней ИИ-модели могут справляться с подобной задачей примерно за минуту. Это может повысить скорость предупреждения об опасных явлениях — от наводнений и штормов до засух, влияющих на сельское хозяйство и энергетику.

Перенос данных также связан с опасениями по поводу сокращения финансирования климатических исследований в США. Учёные ETH Zurich подчеркнули, что все скопированные данные были общедоступными и не являются секретными, однако решили создать дополнительную копию, поскольку научная инфраструктура зависит от долгосрочных политических решений.

Теперь архив NASA хранится рядом с одним из самых мощных суперкомпьютеров мира Alps. Исследователи рассчитывают объединить огромные массивы наблюдений с вычислительными возможностями системы, чтобы с помощью ИИ находить закономерности в изменениях климата, которые раньше было трудно обнаружить.