Comments on Et maintenant, un rant sur les données ouvertes

Cet article semble intéressant:
https://www.lemonde.fr/les-decodeurs/article/2023/06/21/face-au-rechauffement-climatique-le-tresor-encore-inaccessible-des-donnees-de-meteo-france_6178606_4355770.html

Comme le mentionne Lionel, les données de ERA5 peuvent être plus adaptées que les observations proprement dites. Les observations sont bruitées, biaisées, difficiles à comparer entre elles, tandis que les données ERA5 sont issues d'une "réanalyse", càd un modèle météo qui tourne en utilisant au maximum les observations. On considère souvent que la réanalyse est plus juste que ne le sont les observations. Donc oui, ERA5.

ERA5 est aussi disponible partiellement un peu partout, sous différent formats, avec différentes erreurs de reprojection ou d'interpolation.

Il y a un exemple en python qui récupère les données ERA5 sur le site du climate data store (CDS) et qui fournit des cartes ou du numpy: <URL: https://climetlab.readthedocs.io/en/latest/examples/03-source-cds.html >
(il faut s'inscrire gratuitement pour avoir une clé d'accès)

Certaines parties sont plutôt optimisées pour fournir des cartes (tableaux 2D) plutôt que des séries temporelles (pour un seul point). Et le package utilisé (climetlab) est encore en cours de dévelopement (PR welcome).

Il semble que les données Copernicus open date et accessibles pourraient faire l'affaire <URL: https://cds.climate.copernicus.eu/cdsapp#!/dataset/reanalysis-era5-land?tab=overview >. Quelques points d'attention signalés par le collègue qui a mentionné ce jeu de données : méthode d'extraction par API, prérequis en compétences géo (on donne une "boîte de coordonnées" à l'API), le format des fichiers est peu courant (les formats GRIB), attention au poids (surtout quand on extrait des données climatiques horaires). Ça suppose donc un peu de compétences SIG/data pour faire les croisements envisagés. Ca peut être un beau projet.

La base de données publiée dans cet article <URL: https://rmets.onlinelibrary.wiley.com/doi/abs/10.1002/joc.5086 > est disponible sur <URL: https://www.worldclim.org/ > et pourrait peut-être t'intéresser.

Et rien du côté de data.gouv.fr non plus ?

Pas plus de chances du côté de https://www.data.gouv.fr/

Qui continent d'autres données de météo-france ou de la ville de Paris.

Je suis allé voir InfoClimat, et c'est catastrophique. Il faut 1) créer un compte 2) qui est activé manuellement par un modérateur 3) et permet de récupérer les températures par blocs de 8 jours 4) manuellement, avec un captcha pour chaque requête. De toute façon ça ne te serait pas utile : Pour Paris, les données les plus anciennes sont celles du parc Montsouris qui commencent fin 1983 ; les autres stations seulement après 2015. Je peux comprendre qu'il y ait un merdier juridique qui leur force la main, mais appeler ça "open data", c'est un énorme mensonge.

En fait, InfoClimat a des données plus anciennes : pour Montsouris, journalières depuis 1886, et à heures précises depuis fin 1983. Mais uniquement présentées sous forme de zolis tableaux HTML faits pour être lus par un humain, rien dans un format potable. Exemples: décembre 1923 <URL: https://www.infoclimat.fr/climatologie-mensuelle/07156/decembre/1923/paris-montsouris.html >, 9 décembre 1983 <URL: https://www.infoclimat.fr/observations-meteo/archives/9/decembre/1983/paris-montsouris/07156.html >

Il faudrait scraper ça et le foutre une bonne fois pour toutes sur github. Des gens ont écrits des scrapers en R <URL: https://github.com/lvaudor/scrapInfoclimat > et en Python <URL: https://github.com/Couim/climateScrap > mais personne ne semble avoir eu la bonne idée de publier aussi les résultats. Tu veux le faire ? Si tu as la flemme, dis-le et je le ferai quand j'obtiendrai un tuit de forme appropriée.