Los modelos fundacionales se están convirtiendo rápidamente en herramientas indispensables para escribir código, traducir idiomas y resumir prácticamente cualquier texto, por complejo que sea. La predicción meteorológica y climática podría ser el siguiente paso.

Con suficientes datos en bruto, los modelos fundacionales pueden reconstruir la estructura subyacente de sistemas complejos, ya sea código, lenguaje natural o moléculas. A partir de esta base general de conocimientos, un único modelo fundacional puede realizar diversas tareas si se le proporcionan datos especializados y formación adicional. Su potencia radica en su capacidad para proporcionar predicciones basadas en datos con instrucciones limitadas por parte de los humanos.

El ingrediente esencial son los datos, algo de lo que la NASA dispone en abundancia. Para hacer más accesible el vasto y creciente archivo de datos de la NASA, IBM y la NASA se propusieron hace un año crear un modelo fundacional geoespacial de código abierto. Ahora disponible en Hugging Face, el modelo puede ayudar a los científicos a estimar el alcance de inundaciones e incendios forestales pasados. IBM también utiliza el modelo para cartografiar las islas de calor urbano en los Emiratos Árabes Unidos y seguir la reforestación en Kenia.

Animados por estos resultados, IBM y la NASA decidieron diversificar sus actividades. Ahora están trabajando en un nuevo modelo fundacional destinado a hacer que las aplicaciones meteorológicas y climáticas sean más rápidas, precisas y accesibles. Otras aplicaciones potenciales son ayudar a los expertos en clima a deducir información de alta resolución a partir de datos de baja resolución, identificar las condiciones que favorecen los incendios forestales y predecir huracanes, sequías y otros fenómenos extremos.

En septiembre, IBM y la NASA organizaron un taller para debatir la hoja de ruta propuesta para construir un modelo fundacional para el ámbito meteorológico y climático. Una vez terminado, el modelo será de código abierto y estará a disposición del público.

 

El renacimiento de la predicción meteorológica

La predicción meteorológica ha mejorado considerablemente en las últimas décadas, alcanzando el punto en que la predicción para seis días en la actualidad es tan precisa como la predicción para cinco días hace 10 años. Además, las trayectorias de huracanes se pueden predecir con más exactitud tres días antes que hace 40 años con 24 horas de antelación.

Este notable logro se debe a dos cosas: décadas de avances en la ciencia de la atmósfera y los océanos y el progreso paralelo en la informática de alto rendimiento. Los modelos meteorológicos modernos basan sus predicciones en enormes simulaciones informáticas que requieren tiempo y energía. Esto se debe a que tienen en cuenta ecuaciones basadas en la física y observaciones meteorológicas, desde los vientos y la presión atmosférica hasta la temperatura y las precipitaciones.

Pero ahora otra revolución se encuentra en marcha. En el último año ha surgido una nueva forma de predecir el tiempo. El Centro Europeo de Predicción Meteorológica a Medio Plazo (ECMWF) ha empezado a utilizar varios modelos de aprendizaje profundo llamados emuladores de IA que generan predicciones basadas en patrones meteorológicos históricos; las leyes de la física no están codificadas explícitamente en los emuladores de IA, pero pueden inferirse a partir de los datos. Esta simplicidad significa que una previsión puede realizarse en un ordenador de sobremesa en cuestión de minutos, en lugar de las horas que puede tardar un sistema HPC.

Google Deep Mind informó recientemente de que su emulador GraphCast podía proporcionar una previsión a 10 días más rápida y precisa que los actuales modelos tradicionales. En septiembre, GraphCast predijo con exactitud que el huracán Lee tocaría tierra en Nueva Escocia con nueve días de antelación, tres días antes que los modelos actuales.

Técnicamente, los emuladores de IA no son modelos funcionales. Fueron entrenados para realizar una tarea, en un conjunto de datos, y recibieron instrucciones explícitas de pronóstico. Pero son los precursores de un modelo fundacional de uso general e insinúan los beneficios que están por llegar.

 

Un modelo fundacional multimodal para el tiempo y el clima

Los modelos funcionales tienen varias ventajas que se derivan de su capacidad para procesar y analizar datos brutos de muchas modalidades. Esto permite al modelo aprender una amplia representación de los datos que puede generalizarse a muchos escenarios. Es una capacidad importante en un campo como el clima, donde las condiciones cambian constantemente, a través del tiempo y el espacio. También significa que un modelo fundacional meteorológico y climático puede aplicarse a muchas tareas más allá de la predicción.

El entrenamiento de los modelos funcionales puede requerir decenas de miles de horas de GPU. Pero en el momento de la inferencia, pueden ejecutarse en segundos o minutos. En la actualidad, no muchos investigadores tienen acceso a recursos de computación HPC para ejecutar modelos meteorológicos tradicionales. La aparición de modelos de IA preentrenados significa que el campo de la modelización meteorológica y climática se ha democratizado. Esto conlleva la posibilidad de acelerar los descubrimientos.

Los modelos funcionales también podrían mejorar la precisión de las previsiones para otras aplicaciones climáticas. El clima de la Tierra está cambiando rápidamente y alterando los patrones meteorológicos en todo el mundo. Para la logística, las empresas y los organismos públicos, cuanto antes se detecte una catástrofe inminente, mayor será la posibilidad de salvar vidas y ahorrar dinero.

 

Aprender la dinámica atmosférica directamente de los datos

Para ser fundacional, un modelo no puede centrarse en solo un aspecto. Debe ser capaz de realizar muchas tareas e, idealmente, entrenarse con muchos tipos de datos. Esto es especialmente importante en la predicción meteorológica y climática, ya que muchos procesos físicos a menudo sólo pueden observarse en determinados plazos y escalas espaciales. El fenómeno cíclico El Niño, por ejemplo, se desarrolla a lo largo de muchos meses y en la mitad del planeta, mientras que el inicio de un tornado puede durar minutos y surgir de procesos a escala submétrica.

Los sensores proporcionan un registro continuo y muy localizado de los cambios de temperatura, viento y presión. En cambio, las imágenes de satélite captan los cambios medioambientales a intervalos más largos y con menor resolución.

El modelo funcional propuesto se entrenará inicialmente con el conjunto de datos MERRA2, una combinación de observaciones de alta calidad y estimaciones del tiempo pasado en los últimos 40 años. Posteriormente se añadirán datos de observación procedentes de estaciones meteorológicas fijas, globos meteorológicos flotantes y satélites en órbita planetaria. IBM y la NASA están experimentando actualmente con arquitecturas y técnicas de modelos para integrar estas escalas temporales y espaciales variables en un modelo multimodal.

 

Otros retos

Los modelos actuales de IA no suelen tener en cuenta los sucesos extremos. Esta tendencia es un problema conocido para los modelos de IA que se entrenan para ignorar los valores atípicos. Las funciones de pérdida minimizan la posibilidad de cometer grandes errores, pero eso significa que también pueden pasar por alto sucesos extremos. Se han aplicado métodos para corregir esta tendencia en modelos más pequeños. Nuestro reto será ampliar este trabajo a modelos de gran base.

Otra cuestión es el propio cambio climático. El pasado no siempre es un buen indicador del futuro, sobre todo cuando el clima se calienta tan rápido como en la actualidad. Un huracán en 2024, por ejemplo, puede tener vientos más fuertes que un huracán en 1933. Por consiguiente, puede que no lo veamos venir si nuestras previsiones se basan exclusivamente en datos históricos. La IA, sin embargo, nos permite actualizar continuamente el modelo para tener en cuenta el cambio climático a medida que disponemos de nuevos datos.

 

El futuro

El objetivo de IBM y la NASA es disponer de un modelo fundamental de IA multimodal para la predicción meteorológica y climática, así como para otras aplicaciones posteriores. Los expertos en IA de IBM trabajarán con científicos del clima de la NASA y otros expertos en la materia para probar y validar el modelo en siete aplicaciones que incluyen la predicción meteorológica a 10-14 días vista y la predicción de turbulencias y tormentas de polvo en la aviación.

El modelo se pondrá a disposición del público en Hugging Face. Una vez entrenado, podrá adaptarse a muchas tareas posteriores con relativamente pocas GPU, lo que hará que el modelado meteorológico y climático sea mucho más accesible para la comunidad investigadora mundial.

Este trabajo forma parte de un esfuerzo más amplio de IBM y la NASA para desarrollar modelos fundamentales que puedan responder a algunas de las preguntas más acuciantes sobre nuestro clima y medio ambiente cambiantes.