Comments on Et maintenant, un rant sur les données ouvertes

Apokrif (2023-06-22T13:03:20Z)

Cet article semble intéressant:
https://www.lemonde.fr/les-decodeurs/article/2023/06/21/face-au-rechauffement-climatique-le-tresor-encore-inaccessible-des-donnees-de-meteo-france_6178606_4355770.html

Ruxor (2022-08-10T18:50:17Z)

Je viens de publier une mise à jour à la fin de cette entrée avec un lien vers l'ECAD (European Climate Assessment Dataset) qui est ce que j'ai trouvé de plus proche de ce que je cherchais (et il y a de vraies données, c'est pas un truc de chaussures du Goum), et aussi un petit commentaire sur la réanalyse ERA5 qu'on m'a signalée dans les commentaires précédents.

Florian (2022-08-03T12:46:04Z)

Comme le mentionne Lionel, les données de ERA5 peuvent être plus adaptées que les observations proprement dites. Les observations sont bruitées, biaisées, difficiles à comparer entre elles, tandis que les données ERA5 sont issues d'une "réanalyse", càd un modèle météo qui tourne en utilisant au maximum les observations. On considère souvent que la réanalyse est plus juste que ne le sont les observations. Donc oui, ERA5.

ERA5 est aussi disponible partiellement un peu partout, sous différent formats, avec différentes erreurs de reprojection ou d'interpolation.

Il y a un exemple en python qui récupère les données ERA5 sur le site du climate data store (CDS) et qui fournit des cartes ou du numpy: <URL: https://climetlab.readthedocs.io/en/latest/examples/03-source-cds.html >
(il faut s'inscrire gratuitement pour avoir une clé d'accès)

Certaines parties sont plutôt optimisées pour fournir des cartes (tableaux 2D) plutôt que des séries temporelles (pour un seul point). Et le package utilisé (climetlab) est encore en cours de dévelopement (PR welcome).

Lionel (2022-08-01T15:00:59Z)

Il semble que les données Copernicus open date et accessibles pourraient faire l'affaire <URL: https://cds.climate.copernicus.eu/cdsapp#!/dataset/reanalysis-era5-land?tab=overview >. Quelques points d'attention signalés par le collègue qui a mentionné ce jeu de données : méthode d'extraction par API, prérequis en compétences géo (on donne une "boîte de coordonnées" à l'API), le format des fichiers est peu courant (les formats GRIB), attention au poids (surtout quand on extrait des données climatiques horaires). Ça suppose donc un peu de compétences SIG/data pour faire les croisements envisagés. Ca peut être un beau projet.

VA (2022-07-28T14:21:47Z)

La base de données publiée dans cet article <URL: https://rmets.onlinelibrary.wiley.com/doi/abs/10.1002/joc.5086 > est disponible sur <URL: https://www.worldclim.org/ > et pourrait peut-être t'intéresser.

Samuel (2022-07-28T12:35:45Z)

Et rien du côté de data.gouv.fr non plus ?

JérômE (2022-07-28T12:09:16Z)

Pas plus de chances du côté de https://www.data.gouv.fr/

Qui continent d'autres données de météo-france ou de la ville de Paris.

Clopen data (2022-07-28T11:40:51Z)

Je suis allé voir InfoClimat, et c'est catastrophique. Il faut 1) créer un compte 2) qui est activé manuellement par un modérateur 3) et permet de récupérer les températures par blocs de 8 jours 4) manuellement, avec un captcha pour chaque requête. De toute façon ça ne te serait pas utile : Pour Paris, les données les plus anciennes sont celles du parc Montsouris qui commencent fin 1983 ; les autres stations seulement après 2015. Je peux comprendre qu'il y ait un merdier juridique qui leur force la main, mais appeler ça "open data", c'est un énorme mensonge.

En fait, InfoClimat a des données plus anciennes : pour Montsouris, journalières depuis 1886, et à heures précises depuis fin 1983. Mais uniquement présentées sous forme de zolis tableaux HTML faits pour être lus par un humain, rien dans un format potable. Exemples: décembre 1923 <URL: https://www.infoclimat.fr/climatologie-mensuelle/07156/decembre/1923/paris-montsouris.html >, 9 décembre 1983 <URL: https://www.infoclimat.fr/observations-meteo/archives/9/decembre/1983/paris-montsouris/07156.html >

Il faudrait scraper ça et le foutre une bonne fois pour toutes sur github. Des gens ont écrits des scrapers en R <URL: https://github.com/lvaudor/scrapInfoclimat > et en Python <URL: https://github.com/Couim/climateScrap > mais personne ne semble avoir eu la bonne idée de publier aussi les résultats. Tu veux le faire ? Si tu as la flemme, dis-le et je le ferai quand j'obtiendrai un tuit de forme appropriée.


You can post a comment using the following fields:
Name or nick (mandatory):
Web site URL (optional):
Email address (optional, will not appear):
Identifier phrase (optional, see below):
Attempt to remember the values above?
The comment itself (mandatory):

Optional message for moderator (hidden to others):

Spam protection: please enter below the following signs in reverse order: 9e6562


Recent comments