Acceso a datos MERRA-2 mediante OPeNDAP de NASA Earthdata en la nube

Acceso a datos MERRA-2 mediante OPeNDAP de NASA Earthdata en la nube#

Requisitos para ejecutar este notebook

Tener una cuenta Earth Data Login
Método preferido de autenticación.
python>=3.12

Objetivos

Usar buenas prácticas de OPeNDAP, pydap y xarray para:

Descubrir todas las URLs OPeNDAP asociadas con una colección MERRA-2.
Autenticarse mediante EDL (basado en token)
Explorar la colección MERRA-2 y filtrar variables
Consolidar metadatos a nivel de colección
Descargar/transmitir un subconjunto de interés.

Autor: Miguel Jimenez-Urias, ‘25

import xarray as xr
import datetime as dt
import earthaccess
import matplotlib.pyplot as plt
import numpy as np
import pydap

from pydap.net import create_session
from pydap.client import get_cmr_urls, consolidate_metadata, open_url

print("xarray version: ", xr.__version__)
print("pydap version: ", pydap.__version__)

xarray version:  2026.4.0
pydap version:  3.5.11.dev1+ge35cae66d

Explorar la colección MERRA-2#

merra2_doi = "10.5067/VJAFPLI1CSIV" # available e.g. GES DISC MERRA-2 documentation 
                                    # https://disc.gsfc.nasa.gov/datasets/M2T1NXSLV_5.12.4/summary?keywords=MERRA-2
# One month of data
time_range=[dt.datetime(2023, 1, 1), dt.datetime(2023, 2, 28)]

urls = get_cmr_urls(doi=merra2_doi,time_range=time_range, limit=100) # you can increase the limit of results
len(urls)

Autenticación EDL mediante earthaccess y OPeNDAP#

Puedes autenticarte mediante earthaccess como se muestra a continuacion. Debes tener una cuenta EDL válida. Hay dos estrategias para autenticarte con earthaccess:

strategy="interactive". Esto pedirá tu usuario y contraseña de EDL.
strategy="netrc". Usa esta opción si el notebook se ejecuta en un entorno donde se puede recuperar un .netrc con tus credenciales.

A continuación, el valor predeterminado será netrc, asumiendo que el usuario ejecutó el notebook Authenticate.ipynb. Si no es así, puedes cambiar la estrategia a "interactive".

from earthaccess.exceptions import LoginStrategyUnavailable
try:
    auth = earthaccess.login(strategy="netrc", persist=True) # you will be promted to add your EDL credentials
except LoginStrategyUnavailable:
    auth = earthaccess.login(strategy="interactive", persist=True)

# pass Token Authorization to a new Session.
my_session = create_session(auth.get_session())

Explorar variables en la colección y filtrar para conservar solo las deseadas#

Hacemos esto especificando que el servidor OPeNDAP de NASA procese solicitudes mediante el protocolo DAP4.

Hay dos formas de hacerlo:

Usar pydap para inspeccionar los metadatos (todas las variables dentro de los archivos y su descripción). Puedes ejecutar el siguiente código para listar todos los nombres de variables.

from pydap.client import open_url
ds = open_url(url, protocol='dap4', session=my_session)
ds.tree() # this will display the entire tree directory

ds[Varname].attributes # will display all the information about Varname in the remote file.

Usar el Data Request Form de OPeNDAP visible desde el navegador. Lo logras tomando una URL OPeNDAP, agregando la extensión .dmr y pegando la URL resultante en un navegador.

De cualquiera de las dos formas, puedes inspeccionar nombres de variables y sus descripciones sin descargar arreglos grandes.

Abajo asumimos que sabes qué variables necesitas.

variables = ['lon', 'lat', 'time', 'T2M', "U2M", "V2M"] # variables of interest
CE = "?dap4.ce="+ "/"+";/".join(variables) # Need to add this string as a query expression to the OPeNDAP URL
new_urls = [url.replace("https", "dap4") + CE for url in urls] # 

Visualizar#

En Xarray, al visualizar datos, los datos se descargan. Al fragmentar en time al crear el dataset, aseguramos que, en el momento de visualizar una sola unidad de tiempo en xarray, el rebanado temporal se pase al servidor. Esto reduce la cantidad de datos descargados y acelera la transferencia.

fig, ax = plt.subplots(figsize=(12, 6))
ds['T2M'].isel(time=0).plot();

../_images/1978020d6783548e28b7585020b365eff459a1b81b4e7d4cf3e5c157d7655a24.png

Subdividir el dataset agregado mientras se remuestrea en el tiempo#

Seleccionamos datos relevantes para el hemisferio sur, en el área cercana a Sudamérica.
Almacenamos datos en promedios diarios (a diferencia de datos horarios).

Note

Para lograrlo, necesitamos identificar el rebanado en espacio de índices y aplicar chunk the dataset antes de transmitir. Hacerlo asegurará que el subconjunto espacial se realice del lado del servidor (OPeNDAP), cerca de los datos, mientras Xarray calcula el promedio diario.

Crear agregación de Dataset, fragmentando en el espacio#

Remuestrear y subdividir#

Todas las operaciones en la celda siguiente son perezosas, es decir, se retrasan y no activan cómputo.

## now subset the Xarray Dataset and rechunk so it is a single chunk
ds = ds.isel(lon=slice(iLon[0], iLon[-1]+1), lat=slice(iLat[0], iLat[-1]+1))

# take daily average and store locally
nds = ds.resample(time="1D").mean()

Descargar#

Almacenar los archivos no solo activará la descarga de los datos, sino también cualquier cómputo diferido anterior, como el remuestreo.

%%time
nds.to_netcdf("data/Merra2_subset.nc4", mode='w')

CPU times: user 44.6 s, sys: 13.4 s, total: 58 s
Wall time: 2min