Bienvenue dans la documentation de DataSud

Cette documentation est organisée en plusieurs guides, chacun correspondant à un usage particulier de la plateforme. Le catalogue des données et des ressources disponibles sont amenés à évoluer avec la version 2 de DataSud disponible depuis le 13 décembre 2018.

Espace consultation

DataSud est un catalogue ouvert à tous : https://trouver.datasud.fr

Les consultations des données ouvertes, géographiques et intelligentes sont libres sur DataSud. Vous pouvez parcourir le catalogue, rechercher des jeux de données et télécharger des ressources dans différents format de fichier.

Ceci ne concerne pas les données diffusées sur accès retreints, pour lesquelles les producteurs ont volontairement limité leur téléchargement à certains utilisateurs. Toutefois ces jeux de données apparaissent au catalogue général pour porter à connaissance des publics l’existence de ces données. Pour les consulter il faut en faire la demande directement au producteur.

Rechercher des données sur DataSud

Pour de meilleurs résultats, DataSud permet de « filtrer » les données, d’effectuer des recherches par thématique, selon la fréquence de mise à jour, par format ou uniquement les jeux de données associés à une organisation.

_images/Trouver_donnees.png

L’ensemble de ces « filtres » peuvent être cumulés pour affiner les résultats avec un moteur de recherche “textuel”

Il n’y a pas d’inscription préalable pour accéder aux jeux de données et aux ressources diffusés en « Open Data ».

Dans le respect des conditions générales d’utilisation de DataSud, chaque jeux de données est publié avec une licence ( licences ouvertes, licence odbl, etc…), choisie par le producteur de la donnée, dans le but de définir les conditions de leur réutilisation.

« Voir le passage sur le Cadre légal et réglementaire »

Si vous recherchez un jeu de donnée qui ne figure pas au catalogue de DataSud, vous pouvez utiliser le service de « demande de données » Toute demande sera étudiée et une réponse vous sera apportée. Nous relayerons le cas échéant votre demande à la collectivité ou à l’organisme concerné.

Vous pouvez déposer une demande d’accès à un document administratif ou à un jeu de données relatif au territoire régional à l’adresse suivante : https://www.datasud.fr/demande-de-donnees

« Voir le passage sur la demande de documents administratif »

Espace utilisateurs

S’il n’est pas nécessaire de s’inscrire sur la plateforme pour consulter le catalogue et télécharger des données ouvertes, le fait de s’enregistrer sur DataSud https://publier.datasud.fr permet de disposer des fonctionnalités complémentaires par rapport à la consultation sans inscription.

Note

Toute personne, morale ou physique, publique ou privée, peut s’inscrire sur DataSud et ainsi contribuer à l’ouverture et la mise en commun des données publiques ou privées, en publiant des jeux de données, des textes, des ressources et des commentaires.

S’inscrire sur DataSud

  • L’utilisateur enregistre son identité qui est distincte de la personne morale qu’il représente.
  • En s’inscrivant, l’Utilisateur crée un profil sur la Plateforme.
  • En s’inscrivant, l’Utilisateur accepte les « conditions d’utilisation »

Note

Le nom d’utilisateur doit contenir uniquement des caractères alphanumériques en minuscules (ascii) et ces symboles : -_

_images/CaptureDataSudConnect.PNG _images/Creation_Compte_DataSud.PNG _images/Creation_Orga_DataSud.PNG _images/Creation_Type_OrgaDataSud.PNG

Note

l’Utilisateur doit ensuite valider son inscription en cliquant sur le lien reçu par courriel, sur sa boite aux lettres de courrier electronique

Participer à DataSud

De nombreuses fonctionnalités participatives sont proposées :

  • Faire une demande de donnée: https://www.datasud.fr/demande-de-donnees/
  • Contacter les administrateurs de DataSud : https://www.datasud.fr/contactez-nous/
  • Contacter directement le producteur ou le diffuseur d’un jeu de données
  • Suivre/s’abonner à un jeu de données, une thématique ou une organisation,
  • Demander l’accès aux administrateurs à des données réservées sur accès restreint,
  • Accéder aux données et services autorisés pour une organisation.
  • Partager un jeu de données ou une ressource sur un autre site ou via des réseaux sociaux
  • Déclarer une réutilisation : https://trouver.datasud.fr/showcase/new
  • Participer au contrôle de la qualité de DataSud en signalant les contenus n’ayant pas vocation à y figurer (illicites ou contraires aux CGU).
  • Créer une nouvelle Organisation ou demander à être rattaché à une Organisation existante (voir rubrique dédiée),
  • Demander à devenir contributeur d’une organisation et éventuellement référent d’une organisation pour maitriser l’ensemble des publications de ladite organisation (voir rubrique dédiée).
  • Accéder à certaines fonctionnaltés de l’API nécessitant une clé d’authentification.
  • Intégrer un catalogue de données en marque Blanche sur son propre site internet (Voir rubrique dédiée sur la marque blanche)

Espace contributeurs

Ce guide est destiné aux producteurs de données, déjà inscrit en tant qu’Utilisateurs https://publier.datasud.fr/ et souhaitant contribuer à l’enrichissement des publications sur la plateforme. « voir la documentation sur les Utilisateurs »

Note

Toute personne, morale ou physique, publique ou privée, producteur de données publiques ou privées peut les publier sur la DataSud, sous reserve d’accepter les « conditions d’utilisation » et de respecter la réglementation sur les données à caractères personnelles.

Devenir Contributeur et Référent pour une organisation

Les organisations sont le plus souvent des personnes morales (autorités administratives, associations, entreprises) ou également des groupes informels.

Note

La création d’une nouvelle organisation peut-être effectuée soit au moment de votre inscription comme utilisateur de DataSud, soit après la validation de votre profil Utilisateur par les Administrateurs de DataSud. Les demandes de statut de Contributeur ou de Référent sont soumises à la validation des Administrateurs. Il faut donc patienter un peu!

_images/DataSudFirstConnect.PNG _images/DemandeOrga.PNG

Note

Par défaut, un Utilisateur qui s’inscrit avec un email personnel (gmail, ymail, hotmail,…) et dont le nom de domaine ne peut correspondre à l’organisation pour laquelle il demande de contribuer, ne peut se rattacher, contribuer ou devenir référent d’une Organisation

Les Administrateurs de la Plateforme se réservent la possibilité de révoquer une inscription, une organisation, un statut de Contributeur ou de Référent, sans avis préalable.

Un Contributeur dispose des fonctionnalités suivantes :

  • Il peut publier un jeu de données et y ajouter des ressources, sous la forme d’un fichier téléchargeable, d’un lien URL ou d’une API,
  • Il peut accorder le niveau d’accès aux ressources et jeux de données qu’il a crée pour son organisation : soit décider de les rendre accessible à tous, soit en restreindre l’accès uniquement à un ou plusieurs Utilisateurs inscrits ou bien à une Organisation choisie comme sa propre Organisation propriétaire du Jeu de données.

Un Référent des données de l’Organisation, à laquelle il appartient, dispose des fonctionnalités suivantes :

  • Il peut éditer ou supprimer un jeu de données créé et publié par un autre Contributeur de l’Organisation,
  • Il peut accorder le niveau d’accès aux ressources et jeux de données de toutes les publications de son Organisation,
  • Il peut autoriser ou supprimer le statut de Contributeur aux Utilisateurs,
  • Il recoit des notifications lorsque des modifications ont été apportées aux jeux de données et ressources de l’Organisation à laquelle il appartient.

Créer une Organisation

Toute demande de création d’une organisation est soumise à l’administrateur du site pour validation

_images/DataSudAjoutOrga.PNG

La dénomination sociale est obligatoire

_images/Creation_orga1.PNG

La description est facultative mais fortement conseillée, d’une part pour permettre de qualifier l’Organisation et sa démarche en matière d’ouverture des données publiques et géographiques et d’autre part pour permettre l’implementation automatique d’une page web spécifique à propos de l’organisation.

_images/Creation_orga2.PNG

Editer la page d’une Organisation

Pour éditer la page de son organisation, le Contributeur clique sur l’onglet ORGANISATIONS dans son espace d’administration.

_images/Onglet_organisation.PNG

La première fois que le contributeur édite la page de son organisation, il lui sera demandé de définir le territoire de compétence de l’organisation. La création de ce territoire de compétences permet de bénéficier de fonctionnalités spatiales supplémentaires dans DataSud.

_images/Territoire_competence.PNG

Tableau de bord des datasets et ressources publiées (publier.datasud.fr)

Depuis l’onglet « Jeux de données », tous les utilisateurs inscrits accèdent à un dashboard des datasets qu’ils publient.

  • Le sous-onglet « Mes jeux de données » présente les datasets publiés par l’utilisateur, toutes organisations confondues.
  • Le sous-onglet « Tous les jeux de données » présente à l’utilisateur tous les jeux de données qu’il a publié ainsi que tous les jeux de données publiés pour les organisations dont il est le référent.
  • Les trois sous-onglets suivants « Jeux de données moissonnés CKAN », « Jeux de données moissonnés CSW » et « Jeux de données moissonnés DCAT » présente à l’utilisateur les jeux de données issus de moissonnages de catalogues distants.
_images/publier_donnees.PNG

En sélectionnant un jeu de données, l’utilisateur peut :

  • le supprimer,
  • éditer le jeu de données, les ressources associées ou la fiche de métadonnées Inspire,
  • ouvrir le dataset dans le catalogue CKAN.
_images/Dataset_boutons_bas.png

Publier un jeu de données

_images/InscriptionDataSud.PNG

La publication se fait en deux étapes successives:

Tout d’abord on renseigne les métadonnées servant à définir ou décrire le jeu de données qui sera publié, puis on ajoute des jeux de données brutes ou des ressources complémentaires.

Etape n°1 : Renseigner les métadonnées

_images/Edit_newdataset1.PNG

Note

De nombreux mots-clés sont déjà répertoriés dans la base. Ils apparaissent dans une liste déroulante lorsque vous saisissez les premières lettres du mot. Mieux vaut choisir un mot clés existant, plutot que d’en choisir un nouveau afin de permettre de relier votre jeu de donnée à d’autres jeux similaires inscrits au catalogue de DataSud.

_images/Edit_newdataset2.PNG _images/Edit_newdataset3.PNG

Les métadonnées obligatoires sont les suivantes :

  • Titre
  • Organisation à laquelle est rattaché ce jeu de données
  • Descriptif : C’est un champ incontournable pour garantir une bonne réutilisation, car une donnée bien décrite est une donnée bien réutilisée !
  • Dates de création, de dernière modification et de publication : la valeur par défaut indique la date du jour et la date de modification se met à jour automatiquement lorsque vous enregistrez des modifications sur les ressources.
  • Licence : Selectionner une licence parmi celles qui sont proposées: Creative Commons attribution 4.0; Licence ouverte V2.0; Creative Commons cc-by-nc-nd 3.0, Open data base Licence V1.0 ou une Licence Spécifique.

Les métadonnées facultatives sont les suivantes :

  • Illustration : le nom de l’image que vous souhaitez mettre en illustration du jeu de donnée ne doit pas contenir d’accent. le format de l’illustration peut-être du .Jpg ou .png;
  • Catégories : sélectionnez dans la liste une ou plusieurs thématiques proposées correspondant à la/ les catégories associées au jeu de donnée;
  • Mots-clés : privilégiez les mots clés écrits au singulier et en minuscule;
  • Fréquence de mise à jour : à choisir dans la liste déroulante « Lorsque nécessaire » ; « Non planifiée »; « Irrégulière »; « Continue »; « Temps réel »; « Journalière »; « Hebdomadaire »; « Bi-mensuelle »; « Mensuelle »; « Trimestrielle »; « Bi-annuelle »; « Annuelle »; « Inconnue ».
  • Type de données : Données ouvertes ( correspond aux données statistiques ou tout autre jeu de donnée ne contenant pas de composante géographique; Données intelligentes ( voir le passage ci dessous au sujet du « Datastore » ; Données géographiques ( avec des cooordonnées géographique de géolocalisation )
  • Meta-données INSPIRE
  • Fréquence de mise à jour
  • Couverture régionale

Etape n°2 : Publier une ressource

Il existe quatre manières différentes d’ajouter un jeu de données :

1. Téléverser manuellement un fichier depuis votre poste local:

A l’aide du bouton Parcourir, vous pouvez déposer le fichier qui s’ajoute dans l’entrepôt de données DataSud;

_images/Upload_ressources.PNG

Le Titre de votre fichier est automatiquement recopié, mais il est possible de modifier manuellement le nommage de ce jeu de donnée.

_images/Upload_ressources1.PNG

Le format du fichier est automatiquement reconnu par DataSud. il faut préciser si le jeu de donnée est disponible en tant que Données brutes ou si c’est une documentation associée au jeu de donnée pour permettre aux visiteurs de DataSud d’avoir des informations complémentaires ( plaquettes de communications, affiches, photographie, site internet….)

2. Télécharger un jeu de donnée depuis une URL de téléchargement :

Dans ce cas, Datasud va télécharger la ressource pour l’ajouter dans l’entrepôt de données;

_images/Upload_ressources_URL.PNG

Ce mode de publication permet de synchroniser la ressource distante, selon une périodicité régulière à indiquer :

  • Jamais
  • Quotidienne (tous les jours à minuit)
  • Hebdomadaire (tous les lundis)
  • Bimensuelle (1er et 15 de chaque mois)
  • Trimestrielle ( 1er des mois de Janvier, Avril, Juillet et Octobre)
  • Annuelle (1er Janvier)

Par exemple, un fichier transport.zip peut-être synchronisé sur DataSud directement grace à son URL de téléchargement.

Note

Quelques précautions à prendre pour que la synchronisation s’active correctement :

  • le nom de votre fichier doit avoir exactement le même nommage de fichier pour toute la synchronisation : si un script modifie le nom du fichier (pour rajouter une date ou autre par exemple), la synchronisation ne fonctionnera pas.
  • votre fichier doit être accessible via une URL fixe : évitez les liens temporaires.:

En cas d’erreur, les Administrateurs de DATASUD se chargeront de vous indiquer que la synchronisation ne fonctionne pas ou plus.

3. Référencer une URL:

Dans ce cas, la ressource n’est pas téléchargée dans DataSud et vous indiquez précisement l’adresse URL de téléchargement de la donnée qui reste hebergée chez son producteur. Cette donnée apparait au catalogue de DataSud mais elle n’est pas hébergée dans son entrepot.

_images/Upload_ressources_ref_URL.PNG

4. Dépot sFTP:

Le programme sftp apporte une interface similaire au programme ftp qui permet de publier des fichiers à distance. Pour vous connecter à votre dépôt Sftp et déposer un fichier vous pouvez le faire avec un logiciel SSH, en voici quelques-uns :

_images/DepotsFTP.JPG

Paramètre de connexion :

  • L’adresse de connexion est : sftp://sftp.datasud.fr
  • Le port est le : 921
  • Les utilisateurs doivent utiliser leur login/mdp de DataSud pour se connecter et accéder à leur espace
  • Une fois connecté, vous avez accès à votre espace de dépôt sFTP et vous pouvez y déposer des fichiers,
  • puis vous pouvez déposer directement sur DataSud les jeux de données depuis votre espace sFTP

Note

Il peut arriver que la connexion au serveur SFTP ne fonctionne pas lorsque le Proxy de votre organisation bloque l’accès au compte SFTP; Veuillez pour cela tester la connexion à partir d’un autre point d’accès internet sans Proxy ( depuis un smartphone ou une connexion internet personnelle).

Restriction d’accès des ressources

Il est possible de restreindre l’accès des ressources publiées. Dès qu’une modification est enregistrée sur la ressource concernée, une notification est envoyée aux utilisateurs pour lesquels l’accès est accordé.

Le contributeur peut choisir plusieurs types de restrictions :

  • à un ou plusieurs organismes (à choisir dans une liste déroulante) : dans ce cas seuls les utilisateurs rattachés à ces organismes pourront accéder à la ressource.
  • à une liste d’utilisateur inscrits sur la plateforme (à choisir dans une liste déroulante).
  • à tous les utilisateurs possédant un compte.
  • à tous les utilisateurs « partenaires ».

Note

Le mail renseigné dans le champ « Email du diffuseur » est utilisé pour la réception des demandes d’accès aux données sécurisées. Aussi, les contributeurs peuvent indiquer une adresse mail particulière pour être informés de ces demandes d’accès.

Publication en mode privé d’un jeu de données

Il est possible de publier un jeu de données en mode « Privé » : dans ce cas, seuls les administrateurs de la plateforme ainsi que les utilisateurs rattachés à l’organisation qui publie pourront accéder au jeu de données dans le catalogue CKAN. Ce mode de publication peut être considéré comme un mode brouillon et permet de vérifier et valider sa publication dans le catalogue.

Mettre à jour un jeu de données ou une ressource

Les données publiées peuvent être mises à jour après leur publication, que la modification porte sur un jeu données dans son ensemble, ou sur l’une des ressources qu’il contient (Données brutes ou ressources associées).

L’actualisation d’une ressource existante permet d’en mettre à jour le contenu sans changer l’emplacement qui lui est assigné, c’est-à-dire son lien hypertexte (aussi appelé URL). Le fait d’actualiser une ressource (plutôt que de la supprimer et d’en créer ensuite une nouvelle) permet de conserver l’historique des téléchargements de cette ressource. Cela évite aussi de créer des liens rompus sur Internet, qui meneront à une erreur HTTP 404, vu que la page web n’existera plus et sera introuvable par le serveur.

Supprimer un ensemble de donnée et / ou une ressource

Aller sur le site https://publier.datasud.fr/ et rechercher vos jeux de données;

Il est possible de supprimer un ensemble de données ( Dataset ) comprenant les metadonnées; ou seulement les ressources et fichiers brutes associés à un ensemble de données. Pour cela selectionner l’ensemble de données que vous souhaitez supprimer

_images/Supr_Dataset.PNG

Pour confirmer, veuillez réécrire le nom du jeu de données à supprimer.

_images/Supr_Dataset_confirm.PNG

Il est recomandé de Copier le titre de l’ensemble de donnée ( Ctrl C) afin de conserver la même orthographe, puis coller ce titre dans la fenêtre qui s’affichera pour confirmer la suppression.

Attention, cette action est irreversible et supprimera définitivement le jeu de données ainsi que toutes les ressources qui lui sont attachées.

Principe du moissonnage dans Datasud

Le moissonnage permet de référencer sur DataSud des jeux de donnés provenant d’autres plateformes de données ouvertes. Les liens de téléchargement exposés par les catalogues d’origine sont utilisés pour créer des ressources référencées dans DataSud

Les métadonnées des ensembles de données et des ressources peuvent être issues du catalogue d’origine ou générée par DataSud au moment du moissonnage.

✴ Quel type de moissonnage de catalogue distant ?

  • CSW : pour le moissonnage de catalogues exposant leurs informations selon le standard OGC (ex : Geonetwork),
  • CKAN : pour le moissonnage de catalogues opendata CKAN,
  • DCAT : pour le moissonnage de catalogues exposés selon le standard DCAT-AP-CH au format RDF ou Json (ex :Opendatasoft)

Valoriser un ensemble de donnée en déclarant leur réutilisation

_images/Valoriser_donnees.PNG _images/Ajouter_reutilisation.PNG

Géolocalisation des données tabulaires (XLS et CSV)

Une carte peut-être automatiquement générée à partir de vos données tabulaires geolocalisées. Pour cela vous devez avoir deux colonnes contenant des coordonnées géographiques ou bien une colonne géométrique (GeoJSON).

La projection utilisée est le WGS84 (EPSG : 4326).

Dans l’onglet « Grille », vous pouvez visualiser la table attributaire de vos données et vérifier qu’elles s’affichent correctement.

_images/csv1.PNG

Dans l’onglet « Carte », vous pouvez visualiser vos données géolocalisées et accéder aux paramètres.

Vous pouvez choisir quel type de coordonnées vous souhaitez utiliser entre 2 attributs de type « latitude » et « longitude » ou un seul attribut de type géométrie GeoJSON. Selon votre choix, vous allez pouvoir définir la ou les colonnes qui contiennent les informations de géolocalisation.

L’option « Marqueurs de regroupement » vous permet de « fusionner » visuellement les données proches.

_images/csv2.PNG

Vous pouvez également relayer cette carte sur votre site Internet en cliquant sur le bouton « Embarquer sur votre site ». Il ne vous reste alors qu’à définir la taille de votre fenêtre en pixel et de copier le code sur votre site.

_images/csv3.PNG

Projections : en cours de rédaction.

Renseigner les métadonnées INSPIRE

Les utilisateurs qui le souhaitent peuvent associer une fiche de métadonnée Inspire au dataset. Depuis l’interface d’édition du dataset, en cliquant sur « Editer la fiche de métadonnées INSPIRE » un formulaire présentant les nombreux champs requis pour ces fiches de métadonnées permet à l’utilisateur de créer une fiche dans Géonetwork.

Lors du premier enregistrement, les champs communs avec ceux du dataset sont pré-remplis et une fiche est créée dans Geonetwork.

Par la suite, les modifications depuis ce formulaire sont reportées dans la fiche Geonetwork ainsi que dans le dataset IDGO.

Espace développeurs

Service API Ckan

Le site https://trouver.datasud.fr est construit à partir du système d’information OpenSource dédié à la gestion de catalogues de données CKAN.

Requêter l’API CKAN Catalogue

CKAN propose une API permettant d’interroger et de consulter le catalogue des données et leurs ressources. L’API permet également de requêter directement le contenu des ressources tabulaires (CSV, XLS) lorsque celles-ci ont été correctement intégrées au Datastore (https://datasud.readthedocs.io/fr/latest/contributeurs.html#datastore-et-donnees-intelligentes).

Ainsi, il est par exemple possible de réaliser ce qui suit.

Requêter l’API CKAN DATA

DataSud.fr permet également de requêter directement le contenu des jeux de données, ou plutôt de leurs ressources. Cette mécanique est rendue possible à travers l’interrogation de l’API de données de CKAN (API CKAN DATA).

Comme expliqué plus haut, le Datastore propose un service d’indexation des données tabulaires (CSV et XLS). L’API CKAN DATA permet d’exposer le contenu des ressources indexées dans le Datastore dont on peut ainsi interroger tout ou partie sans avoir à télécharger le jeu de données. Il est alors possible de faire des opérations de recherche sur les différents champs de données.

  • Afficher les cinq enregistrements du jeu de données des hôtels en région Provence-Alpes-Côte d’Azur :

Cette requête utilise la méthode datastore_search de l’API de CKAN avec la notion de filtres.

https://trouver.datasud.fr/api/3/action/datastore_search?resource_id=9723b8ba-8379-4b1f-a85c-1f0efe916ce8&limit=5

Requête et résultats : https://bit.ly/2Lc3T12

  • Trouvez toutes les entreprises de la base INFOGREFFE 2017 dont le champ ville est égal à MARSEILLE:

Cette requête utilise la méthode datastore_search de l’API de CKAN avec la notion de filtres.

https://trouver.datasud.fr/api/3/action/datastore_search?resource_id=9723b8ba-8379-4b1f-a85c-1f0efe916ce8&filters={"Ville":"MARSEILLE"}

Requête et résultats : http://bit.ly/2BKn6VW

  • Trouver toutes les entreprises de la base INFOGREFFE 2017 de la ville de MARSEILLE avec le code APE 6831Z, et afficher les résultats à partir du centième (série de 100 à 199)

Cette requête utilise la méthode datastore_search de l’API de CKAN avec la notion de filtres.

resource_id=9723b8ba-8379-4b1f-a85c-1f0efe916ce8&filters={"Ville":"MARSEILLE","Code APE":"6831Z"}&offset=100

Requête et résultats : http://bit.ly/2oliZId

  • Production électrique régionale : trouvez les horaires ou le solaire est supérieur à 20MW (requête SQL)

Cette requête utilise la méthode datastore_search_sql de l’API de CKAN avec la notion de requête SQL .

https://trouver.datasud.fr/api/3/action/datastore_search_sql?sql=SELECT from "52a8f5dd-758d-4e54-a837-8fc7ad57d378"  WHERE "Solaire (MW)" > '20' AND "Date" > '2018-07-10'

Requête et résultats : https://bit.ly/2N8JCKn

Documentation de l’API (catalogue et ressources) http://docs.ckan.org/en/latest/api/

et de l’API Datastore (requête sur les ressources) en anglais http://docs.ckan.org/en/2.9/maintaining/datastore.html#the-datastore-api

Note

le mot « package » qu’on trouve dans certaines requête et dans la documentation CKAN correspond à un jeu de donnée.

Construire une requête pour l’API

Pour appeler l’API CKAN, postez un dictionnaire JSON dans une requête HTTP POST sur l’une des URL d’API de CKAN. Les paramètres de la fonction API doivent être indiqués dans le dictionnaire JSON. CKAN retournera également sa réponse dans un dictionnaire JSON.

Une façon de publier un dictionnaire JSON sur une URL est d’utiliser le client HTTP en ligne de commande HTTPie. Il existe également d’autres outils comme Postman. Par exemple, pour obtenir une liste des noms de tous les jeux de données du groupe environnment sur le site, installez HTTPie, puis appelez la fonction API group_list en exécutant cette commande dans un terminal:

http http://trouver.datasud.fr/api/3/action/group_list

La réponse de CKAN ressemblera à ceci:

{
    "help": "...",
    "result": [
        "data-explorer",
        "department-of-ricky",
        "geo-examples",
        "geothermal-data",
        "reykjavik",
        "skeenawild-conservation-trust"
    ],
    "success": true
}

La réponse est un dictionnaire JSON avec 3 clés :

  1. "success": true or false.

    L’API est conçue pour retourner à chaque fois un 200 OK dans le code statut de sa réponse, qu’il y ait une erreur ou non dans la requête, il est donc important de toujours vérifier la valeur de la clé success dans le dictionnaire de réponse, et si elle est à false, de vérifier la valeur de la clé error.

Note

S’il y a vraiment un gros problème de syntaxe dans la requête à l’API, CKAN pourra retourner une réponse HTTP avec un status code 409, 400 or 500 (dans l’ordre croissant de gravité). Dans les prochaines versions de CKAN, il est prévu d’essayer de supprimer ce type de réponse pour n’avoirà la place que des retours 200 OK et utiliser les valeurs "success" et "error".

  1. "result": le résultat retournée par la fonction appelée. Le type et la valeur du résultat dépendent de la fonction appelée. Dans le cas de la fonction group_list, il s’agit d’une liste de chaînes, les noms de tous les jeux de données qui appartiennent au groupe.

    Si c’est une erreur qui est retournée à la requête, le dictionnaire contiendra une clé "error" avec le détail de l’erreur au lieu de la clé "result". Un dictionnaire de réponse contenant une erreur ressemblera à ceci:

    {
    "help": "Creates a package",
    "success": false,
    "error": {
        "message": "Access denied",
        "__type": "Authorization Error"
        }
 }

  2. "help": le texte de documentation de la fonction appelée.

La même requête HTTP peut être effectuée en utilisant le module Python standard urllib2 avec ce code Python

#!/usr/bin/env python
import urllib2
import urllib
import json
import pprint

# Make the HTTP request.
response = urllib2.urlopen('http://demo.ckan.org/api/3/action/group_list',
        data_string)
assert response.code == 200

# Use the json module to load CKAN's response into a dictionary.
response_dict = json.loads(response.read())

# Check the contents of the response.
assert response_dict['success'] is True
result = response_dict['result']
pprint.pprint(result)

Versions de l’API

Les API CKAN sont versionnées. Si vous faites une demande à une URL d’API sans numéro de version, CKAN choisira la dernière version de l’API:

https://trouver.datasud.fr/api/action/package_list

Vous pouvez également spécifier le numéro de version de l’API souhaité dans l’URL que vous envoyez:

https://trouver.datasud.fr/api/3/action/package_list

La version 3 est actuellement la seule version de l’API Action.

Nous vous recommandons de spécifier le numéro d’API dans vos demandes, car cela garantit que votre client API continuera à fonctionner si un jour le site est mis à niveau vers de nouvelles versions de CKAN).

Authentification et clés

Certaines fonctions de l’API nécessitent une autorisation, par exemple pour ajouter ou modifier des jeux de données et des ressources). L’API utilise la même fonction d’autorisation et la configuration en tant qu’interface web, donc si un utilisateur est autorisé à faire quelque chose dans l’interface web, il sera autorisé à le faire via l’API.

Lorsque vous appelez une fonction de l’API nécessitant une autorisation, vous devez vous authentifier vous-même en fournissant votre clé API avec votre requête HTTP. Pour trouver votre clé API, connectez-vous au site CKAN en utilisant son interface web et visitez votre profil utilisateur.

Pour fournir votre clé API dans une requête HTTP, incluez-la dans un En-tête `` Authorization`` ou `` X-CKAN-API-Key``.

Par exemple, pour demander si vous suivez actuellement l’utilisateur `` markw`` sur demo.ckan.org en utilisant HTTPie, exécutez cette commande:

https://trouver.datasud.fr/api/3/action/am_following_user id = markw Autorisation: XXX

(Remplacer `` XXX`` avec votre clé API.)

Par exemple, pour obtenir la liste des activités de votre tableau de bord utilisateur, on lance ce code Python ::
request = urllib2.Request(”http://trouver.datasud.fr/api/3/action/dashboard_activity_list”) request.add_header(“Authorization”, “XXX”) response_dict = json.loads(urllib2.urlopen(request, “{}”).read())

Support JSONP

Pour répondre aux scripts d’autres sites qui souhaitent accéder à l’API, les données peuvent être renvoyé au format JSONP, où les données JSON sont “complétées” avec une fonction call. La fonction est nommée dans le paramètre “callback”. Par exemple:

https://trouver.datasud.fr/api/3/action/package_show?id=adur_district_spending&callback=myfunction

Note

Cela ne fonctionne qu’avec les requêtes GET qui incluent toutes les données requises dans l’URL ( spécifier method = « GET » dans l’élément <form> )

Marque blanche / Widget

DataSud permet d’intégrer un catalogue de données en marque blanche sur un site web externe. Cette fonctionnalité est également intitulée “widget”. Elle offre une solution technique pour valoriser le catalogue de données d’une organisation et plus largement de tout sous ensemble du catalogue de données DataSud filtré par une ou plusieurs facettes (organisations, thématiques, formats, licences, recherche par mot clé…).

La marque blanche est accessible sans restriction et sans autorisation préalable à tout utilisateur, contributeur ou développeur de DataSud.

Techniquement, la marque blanche de DataSud passe par l’intégration de quelques lignes de code HTML à l’endroit souhaité sur une page web externe ainsi que deux appels à un fichier Javascrit (.JS) et une feuille de style CSS (.CSS).

La marque blanche DataSud a été développée par Neogeo Technologies. Elle est distribuée sur Gitub sous licence MIT. Le code source peut être utilisé pour afficher tout catalogue CKAN sur un site tiers.

_images/CaptureMarqueBlanche.PNG

  • Exemple de code d’implémentation:

    <!DOCTYPE html>
<html>
  <head>
    <meta charset="utf-8">
    <link href="./app.css" rel="stylesheet">
    <link href="./static/css/main.css" rel="stylesheet">
    <title>Catalogue CKAN</title>
  </head>

  <body>
    <div id="ckan-widget"></div>
  </body>

  <script src="./static/js/main.js" type="text/javascript"></script>
  <script type="text/javascript">
    var config = {
       // URL du catalogue CKAN cible
       ckan_api: 'https://trouver.datasud.fr',
      // Filtres complémentaires optionnels :

      //ckan_organizations: ['org1', 'org2'],
      //ckan_groups: ['group1'],
      //ckan_tags: ['tag1'],
      //ckan_facets: {
        //res_format: 'HTML',
    //    datatype: 'type'
    //  },

    // paramétrages de l'affichage :
      data_sort: 'title_string asc',
      result_page_size: 25,
      thumbnails_display: true
    }

    ckanWidget.init(config)
  </script>
</html>

Paramètres d’intégration de la marque blanche :

Le code d’inclusion html et son appel javascript permettent :

  • 1/ De charter l’interface graphique à travers la modification de la feuilles de styles app.css.
  • 2/ De spécifier les facettes à filtrer : les organisations (ckan_organizations), les thématiques (ckan_groups), les mots clés (ckan_tags) et plus généralement toute facette (ckan_facets) identifiable dans l’url des résultats d’une recherche effectuée sur DataSud.
  • 3/ De spécifier comment afficher les résultats : tri (data_sort), nombre de résultats par page (result_page_size), et intégration d’un vignette (thumbnails_display: true).

Exemples d’intégration :

  • Sur le site des Parcs Naturels Régionaux :

http://geo.pnrpaca.org/geoservices/catalogue-de-donnees/

  • Sur le site internet du Département des Alpes-Maritimes :

https://www.departement06.fr/l-information-du-departement/opendata-29882.html

  • Sur le site internet du la ville de Digne-les-Bains :

https://www.dignelesbains.fr/coordonnees-et-horaires-de-la-mairie/open-data/

Web Map Service ( WMS )

La mise en œuvre des services WMS, WMTS, WFS et WCS est possible sur Datasud grace à différents serveurs de données cartographiques à partir desquels les producteurs de données peuvent construire des cartes interactives facilement consultables.

Les ressources publiées selon le protocole de communication standard des flux WMS permettent la visualisation et la representation des objets géoréférencées.

Les outils du visualiseur pour les utilisateurs de DataSud :

  • Affichage de la carte en mode plein écran et d’une vue générale (Overview Map) rétractable ;
  • Une légende rétractable permettant de régler la transparence des couches affichées, de les activer/désactiver,
  • Une petite barre d’outils cartographique : Zoom+, Zoom-, vue précédente, vue suivante, mesure linéaire et surfacique, permalien et un bouton « HOME » pour revenir à l’étendue initiale
  • Affichage de l’échelle et d’un outil de zoom selon des échelles libres ;
  • Un bouton « INFO » sur la ou les couches actives identifiées comme interrogeables ;
  • Un bouton « impression » permettant de générer facilement un PDF A4 ou A3, portrait ou paysage, de la vue en cours ;

Le producteur de donnée qui souhaite afficher une carte à partir de données géoréférencées doit préciser les informations qu’il désire voir apparaitre sur la carte :

  • Couches à tracer parmi celles disponibles.
  • Styles des couches.
  • Système de référence à utiliser.
  • Taille de l’image produite.
  • Étendue de la carte souhaitée ou du territoire concerné

Le visualiseur peut afficher soit les données géoreférencées telechargées dans l’entrepot de données de DataSud, ainsi que celles qui sont issues d’autres infrastructures de publication de données géographiques externes ; la fonction « Ajout WMS externe » permet de récupérer des couches externes à partir de la saisie libre de l’utilisateur (service WMS) ou du choix d’un service dans une liste paramétrable par le producteur.

Service WFS

En cours.

Service CSW

En cours.

Services de Datasud

Faire remonter vos données sur Data.Gouv.fr

La Région et Etalab ont travaillé ensemble afin de permettre la remontée automatique des catalogues de données des contributeurs de DataSud vers la plateforme nationale https://www.data.gouv.fr/fr/. Cette mécanique est aussi appelée « moissonneur » ou « passerelle ».

La procédure est relativemment simple. Il suffit de la mettre en place pour une organisation contributrice de DataSud afin que ses données soient ensuite synchronisées quotidiennement sur Data.Gouv.fr

Chaque contributeur et organisation reste souverain pour mettre en place (ou non) une synchronisation de ses données vers DataGouv.

Quelques précisions :

  • Seules les métadonnées sont synchronisées sur DataGouv. Les données restent sur DataSud (ou ailleurs en fonction de vos choix en matière d’indexation de ressources).
  • Le moissonneur ne prend pas en compte la suppression de jeux de données. Chaque contributeur doit supprimer ses jeux de données directement sur Data.Gouv.fr
  • Un compte organisation sur DataGouv expose indifféremment les jeux de données créés manuellement sur Data.Gouv.fr et les jeux de données synchronisés automatiquement depuis DataSud. Faites ainsi bien attention aux doublons et à la cohérence des jeux de données.

Mise en place de la procédure pour configurer votre moissonneur:

ETAPE 1: Chaque contributeur crée une organisation sur Data.Gouv avec un compte utilisateur en son nom. « INSCRIPTION sur DataGouv » - Ce compte utilisateur doit être administrateur de l’organisation.

ETAPE 2: création d’un point de moissonnage sur DataGouv L’administrateur de l’organisation sur Data.gouv.fr doit déclarer un point de moissonnage depuis l’interface d’administration DataGouv.

  • En haut à droite de votre espace d’administration DataGouv, cliquez sur + puis Un moissonneur.
_images/ajout_moissoneur.PNG
  • Selectionner votre organisation « Publier en tant qu’organisation »,
_images/CaptureMoissonneur2.PNG
  • cliquez sur Suivant en bas à droite de votre écran
_images/ajout_moissoneur_Suivant.PNG
  • C’est ensuite ici que vous renseignez les informations techniques de votre moissonneur:

Nom: Il convient d’ajouter Mon organisation - DataSud à votre Nom afin que le service support de Data.gouv.fr puisse l’identifier plus facilement.

URL racine de l’instance CKAN : https://trouver.datasud.fr

Implementation Choisir ckan dans le menu déroulant

_images/ajout_nveau_moissoneur.PNG

Note

Il est très important de ne pas oublier d’ajouter un filtre, au risque de moissonner tout DataSud:

Filtres -> Inclure -> Organisation -> un nom d’organisation CKAN (ajouter l’identifiant de votre organisation dans DataSud)

Exemple : Pour filtrer les jeux de données de DLVA, il faudra préciser dans le nom d’organisation CKAN : durance-luberon-verdon-agglomeration

_images/ajout_nveau_moissoneur_filtre.PNG

Cochez les cases Actif et Archivage automatique puis cliquez sur ENREGISTRER

ETAPE 3: Une fois créé, chaque contributeur déclare son moissonneur aux administrateurs de DataSud en écrivant à datasud@maregionsud.fr.

ETAPE 4: Etalab valide le moissonneur à la demande des administrateurs de DataSud.

ETAPE 5: La synchronisation du catalogue distant est faite une fois par jour (chaque nuit).

Utiliser le service MAJIC

Les données MAJIC 2021 sont disponibles au téléchargement pour les partenaires de la Région Provence-Alpes-Côte d’Azur sous réserve d’être ayants droit de la DGFIP.

Ce nouveau service prend en charge vos demandes de fichiers MAJIC depuis le mois de septembre 2021.

1. Les ayants droit

L’accès aux fichiers littéraux est limité aux collectivités territoriales, aux administrations et aux organismes chargés d’une mission de service public. La seule exception concerne le fichier des voies et lieudits (fichier FANTOIR) qui est délivré gratuitement à tout demandeur.

Les droits sont ouverts aux :

  • Collectivités territoriales : les communes, les Départements, la Région.
  • Etablissements publics de coopération intercommunale : les syndicats de communes, les communautés de communes, les communautés urbaines, les communautés d’agglomération, les syndicats d’agglomération nouvelle et les métropoles.
  • Administrations d’Etat : L’Etat est représenté par les services centraux ou territoriaux de ses administrations. À cette catégorie sont rattachées certaines autorités administratives indépendantes.
  • Etablissements publics : La catégorie des établissements publics comprend les organismes et établissements de droit public, financés par des fonds publics, et dont la mission est de servir l’intérêt général. On distingue deux principales catégories d’établissements publics ( à caractère administratif ; à caractère industriel et commercial).
  • Etablissements publics administratifs : Ce sont des personnes morales de droit public gérant une activité de service public ou parapublic sous le contrôle de l’Etat ou d’une collectivité territoriale.

Parmi les établissements publics administratifs susceptibles de commander des fichiers cadastraux, il convient de citer :

  • les associations syndicales autorisées (ASA) et les associations syndicales constituées d’office (ASCO),
  • l’institut national de l’information géographique et forestière (IGN),
  • l’institut national de l’origine et de la qualité (INAO),
  • le conservatoire du littoral,
  • les services départementaux d’incendie et de secours (SDIS),
  • le syndicat des transports d’Ile-de-France (STIF),
  • les chambres de commerce et d’industrie (CCI).
  • Etablissements publics industriels et commerciaux : Ce sont des personnes morales de droit public gérant une activité de service public de nature industrielle ou commerciale selon les règles de gestion d’une entreprise privée industrielle ou commerciale.

Parmi les établissements publics industriels ou commerciaux susceptibles de commander des fichiers cadastraux, il convient de citer :

  • l’office national des forêts (ONF),
  • le réseau ferré de France (RFF),
  • la société nationale des chemins de fer français (SNCF),
  • les offices publics de l’habitat (OPH).
  • Groupements d’intérêt public (GIP) ou Associations loi 1901 : Ce sont des personnes morales de droit public dont les membres exercent des activités d’intérêt général à but non lucratif.
  • Sociétés publiques locales d’aménagement (SPLA) : Les sociétés publiques locales d’aménagement ont été créées par la loi n° 2006-872 du 13 juillet 2006 portant engagement national pour le logement. Dans la mesure où le capital d’une SPLA est entièrement public, où son activité est réalisée intégralement pour le compte et uniquement sur le territoire des collectivités qui en sont actionnaires, et où ses statuts prévoient un contrôle suffisant pour que l’on puisse considérer que la personne publique délégante exerce sur la société un contrôle analogue à celui qu’il exerce sur ses propres services, la SPLA peut être considérée comme un tiers habilité à recevoir les données littérales de la DGFiP.
  • Prestataires de services : La restriction tenant à l’usage interne des données ne fait toutefois pas obstacle à une utilisation des données par un prestataire de services chargé de réaliser des traitements ou d’apporter son concours pour les études mises en œuvre par le demandeur. En cas de recours à un prestataire de services, une convention doit définir précisément les traitements qui lui sont demandés. Le prestataire doit prendre les mesures de sécurité nécessaires et s’engager à ce que les informations communiquées ne soient pas conservées, utilisées ou dupliquées à d’autres fins que celles indiquées par la convention. À l’issue de sa mission, il doit détruire tous les fichiers manuels ou informatisés servant de supports aux informations saisies.

2. Nature des documents délivrés

Les fichiers fonciers standards issus de l’application MAJIC comprennent :

  • Le fichier des propriétaires
  • Le fichier des propriétés non bâties (parcelles)
  • Le fichier des propriétés bâties (locaux)
  • Le fichier des propriétés divisées en lots (lots de copropriété), complément des fichiers propriétés non bâties et bâties
  • Le fichier des liens lots-locaux, complément du fichier propriétés bâties

Ces fichiers produits une fois par an sont disponibles au début du deuxième semestre. Les données présentent la situation existante au 1er janvier de l’année. Depuis 2013, la livraison des fichiers MAJIC n’inclut plus les fichiers FANTOIR. Le fichier des voies et lieux-dits ou fichier FANTOIR est librement à disposition en téléchargement sur le site http://www.collectivites-locales.gouv.fr

3. Conditions d’obtention des fichiers

a. La procédure et l’instruction de la demande

La Région Provence-Alpes-Côte d’Azur se conforme aux directives de la direction régionale des finances publiques. Elle doit analyser la finalité de la demande et s’assurer en particulier que les données ne seront pas utilisées dans un but commercial (actions de publicité ou de démarchage), électoral, ou politique (envois de tracts d’une organisation ou d’un parti politique). Elle pourra donc être amenée à effectuer des démarches d’éclaircissement auprès des demandeurs et, le cas échéant, à rejeter les demandes qui seraient manifestement incompatibles avec la législation.

Note

Prérequis obligatoires et règles : L’accès aux données est conditionné par l’inscription gratuite sur le portail www.datasud.fr de l’organisme demandeur, depuis un compte utilisateur nominatif et désigné comme référent de l’organisation. La demande d’accès aux données se fait ensuite depuis l’onglet « MAJIC » disponible sur le site dès que l’utilisateur référent est connecté.

Afin d’avoir accès aux données MAJIC, voici les étapes d’inscription :

Etape 1 : Enregistrement de l’ayant droit sur www.datasud.fr (si ce n’est pas déjà fait)

  • Inscrivez-vous sur datasud.fr en créant un compte nominatif ;
  • Affectation du compte à une organisation déjà existante sur DataSud ou création d’un nouvel organisme ;
  • Désignation du compte nominatif comme étant référent de l’organisation car seule la personne désignée comme référente d’une organisation sera habilitée à télécharger les fichiers,
  • Votre organisme doit être un ayant droit sur les fichiers fonciers (cf. 1. Les ayants droit). Nous contacter si vous avez un doute

Etape 2 : Activation de l’espace « MAJIC »

Depuis l’onglet « MAJIC » du site datasud.fr, il faudra :

  • Vous devez prendre connaissance de la conformité des traitements avec le RGPD, ainsi que des procédures et contraintes applicables sur ces données : Procédure de mise à disposition des fichiers fonciers DGFiP procedure_mad_majic.pdf [lien pdf] ;
  • Téléchargez l’acte d’engagement clause_confidentialite_majic_latest.pdf [lien pdf] à remplir et à signer et à nous transmettre via la boîte de dialogue dédiée ;
  • Transmettre les coordonnées du DPO de votre organisme (nom, prénom et mail). S’il n’y en n’a pas, votre organisme doit en nommer un et faire la déclaration sur https://www.cnil.fr/fr/designation-dpo ;
  • le récépissé de la CNIL sera transmis depuis l’espace dédié de DataSUD. La livraison des données sera faite via la plateforme DataSUD dès validation de votre demande ;

Etape 3 : Commande et téléchargement des fichiers

Une fois l’espace « MAJIC » activé et les documents validés, vous pourrez, toujours depuis l’onglet « MAJIC » :

  • Visionner et vérifiez la validité du territoire concerné par votre organisme ;
  • Définir le type de lot souhaité, par commune ou par territoire ;
  • Télécharger vos données depuis votre espace DataSUD : l’exécution de votre demande sera disponible quelques minutes plus tard. Attention, le lien pour télécharger les fichiers n’est valable que 2 heures.

b. Territoire de compétence

La communication des données se limite à la compétence géographique et administrative du demandeur, qui doit les utiliser à des fins strictement internes. Il convient de réaliser un examen précis de la demande au regard de ces critères. Si un adhérent souhaite modifier son territoire de compétence, il doit fournir une preuve de l’évolution de ce dernier, en envoyant à la Région Provence-Alpes-Côte d’Azur un document officiel comprenant les codes INSEE des communes à ajouter et/ou enlever.

c. Contexte de la mise à disposition des fichiers

La Région Provence-Alpes-Côte d’Azur, avec l’accord de la DGFIP, s’engage à distribuer aux ayants-droit les fichiers fonciers standards issus de l’application Majic.

d. Conformité des traitements avec la loi informatique et libertés et RGPD

Il est précisé que la délibération CNIL n° 2012-088 du 29 mars 2012 dispense de déclaration les traitements automatisés de données personnelles mis en œuvre aux fins de consultation des données issues de la matrice cadastrale par toute commune, groupement et organisme privé ou public chargé d’une mission de service public (J.O. du 13 mai 2012) et exempte de toute obligation déclarative ces demandeurs tant pour les fichiers fonciers que pour les cédéroms VisuDGFiP cadastre. Le 28 mai 2018, la mise en place du Règlement Général sur la Protection des données (RGPD) rend obsolète l’obligation déclarative auprès de la CNIL des traitements informatisés de données à caractère personnel mis en œuvre dans le cadre d’un système d’information géographique via l’autorisation unique n°1 (AU-001). Dorénavant il revient à l’organisme ayant-droit et recevant les données des fichiers fonciers de se mettre en conformité lui-même aux nouvelles dispositions encadrant le RGPD. Pour cela, un DPO doit être déclaré auprès de la CNIL. Plus d’information sur https://www.cnil.fr/fr/designation-dpo.

Demande d’accès à un document administratif

Faire une demande d’accès à un document administratif ou à des données

Présentation du cadre juridique de l’ouverture des données: un guide pratique de Publication en ligne et réutilisation des données publiques (« open data ») a été élaboré par les services de la CADA et de la CNIL en association avec les services d’Etalab.

L’article 15 de la Déclaration Universelle des droits de l’homme et du citoyen précise que « la société a le droit de demander compte à tout agent public de son administration ».

Ce droit d’accès aux documents administratifs est régie par la loi CADA du 17 juillet 1978 qui considère que « les données produites ou détenues par les administrations, dans le cadre de leurs missions de service public, doivent être mises à disposition du public». Cela ne concerne pas les informations personnelles, ni celles touchant à la sécurité nationale, ou celles couvertes par les différents secrets légaux.

Le formalisme d’accès ainsi que vos droits à ce sujet sont précisés sur le site officiel de l’administration française : https://www.service-public.fr/particuliers/vosdroits/F2467

Conformément à la mise en oeuvre de la loi Numérique, la Commission d’accès aux documents administratifs (CADA) considère que tous les fichiers dont la communication a été sollicitée à partir du 8 avril 2017 doivent être publiés en Open Data « par défaut ».

De cette manière, il est possible de solliciter une administration, pour avoir accès à de nombreux documents administratifs, sans avoir à motiver votre demande, meme si ces données ne sont pas encore publiés sur les sites web des administrations ou sur les portails OpenData.

Afin de vous permettre de nous saisir à ce sujet, DataSud propose un service de « demande de données ».

Vous pouvez déposer une demande d’accès à un document administratif ou à un jeu de données relatif au territoire régional à l’adresse suivante : https://www.datasud.fr/demande-de-donnees/

Toute demande sera étudiée et une réponse vous sera apportée. Nous relayerons le cas échéant votre demande à la collectivité ou à l’organisme concerné.

  • Si l’administration accepte votre demande de communication, elle doit normalement le faire dans un délai d’un mois.
  • L’administration peut rejeter, par décision motivée, votre demande de communication.

Le refus de communication opposé par l’administration peut être :

  • Exprès : il doit alors être motivé, en vertu de l’article 25 de la loi du 17 juillet 1978.

Le refus de communiquer des informations relatives à l’environnement doit obligatoirement donner lieu à une décision expresse motivée (I de l’article L. 124-6 du code de l’environnement).

  • Tacite : la décision de rejet naît du « silence gardé pendant plus d’un mois par l’autorité compétente, saisie d’une demande de communication de documents » (1er alinéa de l’article 17 du décret 2005-1755 du 30 décembre 2005). Ces décisions tacites sont dispensées de l’obligation de motivation (article 5 de la loi du 11 juillet 1979), sauf si un texte en dispose autrement.

La CADA ne peut être saisie qu’à la suite d’un refus de communication, qui peut d’ailleurs ne porter que sur un désaccord quant aux modalités de la communication. Une saisine formée avant l’expiration du délai d’un mois imparti à l’administration pour répondre est donc irrecevable.

En cas de communication insatisfaisante pour le demandeur (document tronqué, dossier ne contenant pas le document recherché…) sans refus exprès, la CADA exige que le demandeur attende l’expiration du délai d’un mois à compter de sa demande (voir site de la CADA : http://www.cada.fr/).

Régles éditoriales

Règles de nommage des ressources

Selon les recommandations en matière de nommage des fichiers électroniques et de plan de classement, nous vous proposons de respecter les règles suivantes relatives aux intitulés des ressources (fichiers) associées à vos jeux de données :

  • Le nom d’un fichier doit être succinct : éviter de dépasser 30 caractères (sans compter l’extension).
  • Le nom d’un fichier doit être précis : il contiendra idéalement : le nom du producteur, le sujet, le type de document, la date de création, éventuellement la version.
  • Date: pour le 20 décembre 2018 => 20181220 (norme ISO 8601).
  • Ne pas utiliser des articles ou mots vides : le, la, les, de, etc…
  • Préférer le caractère _(underscore, tiret du 8) à un espace
  • Eviter les lettres accentuées
  • Le nom d’un fichier ne doit pas contenir : espace, ponctuation (sauf le point avant l’extension), caractères accentués ou spéciaux (ùé+’@à°[] :</* »& !$, etc.).
  • La gestion des versions permet de suivre l’évolution et les étapes de l’élaboration d’un fichier. Il faut les distinguer soigneusement en les numérotant pour obtenir une suite logique exemple V01, V02, etc.

Amélioration des champs descriptifs avec le langage Markdown

Pour les champs descriptifs des jeux de données, des ressources et des organisations vous pouvez utiliser le langage Markdown dans le but est d’offrir une syntaxe facile à lire et à écrire.

Voici quelques exemples de syntaxe Markdown.

Cette liste n’est pas exhaustive.

=== Formatage ===

Mettre du texte en italique

*quelques mots*

quelques mots

Mettre du texte en gras

**plus important**

plus important

Pour mettre du code dans le texte:

``Mon code``

Mon code

=== Listes ===

Sauter une ligne avant le début de la liste.

Pour créer une liste non ordonnée

* Pommes
* Poires
  • Pommes
  • Poires

=== Image ====

Vous pouvez afficher une image dans vos descriptifs :

_images/CaptureDataSudConnect.PNG

Voici la syntaxe à écrire ![40% center](Image.jpg)

! indique une image à insérer

Entre crochets on trouve les options réduction ou agrandissement en pourcentage et centrage (center). Par défaut l’image est alignée à gauche en taille 100%

Attention L’image doit être disponible en ligne quelque part.

=== Liens ===

Pour créer des liens

[texte du lien](url_du_lien "texte pour le titre, facultatif")
https://trouver.datasud.fr (automatique si mon url commence par http ou https).

[Trouver des données sur Datasud.fr](https://trouver.datasud.fr)

=== Aller plus loin ===

https://fr.wikipedia.org/wiki/Markdown

https://guides.github.com/features/mastering-markdown/

https://guides.github.com/pdfs/markdown-cheatsheet-online.pdf

Le guide du Markdown, par YannHY https://github.com/YannHY/cours/blob/master/Markdown/Le%20guide%20du%20Markdown.md

Datastore et données intelligentes

Datasud propose un datastore, c’est à dire un entrepôt de données qui offre des services dits « intelligents » sur les données tabulaires aux formats CSV, XLS, GeoJSON, SHP.

La publication des données sur Datasud, dans un format ouvert et interprétable par une machine, permet leur indexation dans le datastore afin notamment de proposer des apercus, de les filtrer par champs et de les parcourir sans utiliser de tableur dédiés.

Le format CSV est le format pivot à privilégier pour transformer vos données tabulaires en données semi-structurées dites « intelligentes » afin que le datastore génère des datavisualisations simples sous forme de grille, de graphe ou de carte.

Des données intelligentes permettent également d’en automatiser l’accès par API ( Application Programming Interface) : L’accessibilité des données par interface de programmation est une condition nécessaire pour massifier et industrialiser les usages qui peuvent être fait de ces dernières. Les données indexées dans le datastore sont ensuite « requetables » directement à travers l’API à travers une série de fonctionnalités puissantes. ( voir la présentation de l’API CKan : http://datasud.readthedocs.io/fr/latest/developpeurs/index.html#service-api-ckan)

Vos jeux de données doivent être préparés pour être proprement indexés dans le datastore :

  • Dans CKAN, le format CSV doit être privilégié avec une virgule , comme séparateur / délimiteur.
  • Idéalement, passez tous vos jeux de données en UTF-8. Pour cela le programme Notepad++ fait cela très bien.
  • Idéalement, exportez vos tableurs favoris (Microsoft, Libre et Open Office) au format CSV.
  • Restreindre vos titres de colonnes à moins de 62 caractères.
  • Ne pas doublonner le titre d’une colonne.
  • En théorie les caractères spéciaux (“:.,( -”) sont acceptés, mais c’est beaucoup mieux de les éviter dans les titres.
  • Harmoniser le type de vos données (et oui vos données sont typées!) : en effet si une colonne ne comporte que des chiffres, le datastore autodéterminera le type de cette colonne comme étant un nombre. Or il suffit qu’une cellule de la colonne contienne l’entrée N/A, pour que le datastore génére une erreur.

Pour éviter les erreurs de type, il est préférable de les corriger avant d’indexer le jeu de donnée dans DataSud ou bien de transformer la valeur des cellules en cellules au format TEXTE. Cela n’est pas satisfaisant, mais ca fonctionne.

  • ERREUR : En cas d’erreur supprimez complètement la ressource associée au jeu de données et ajoutez en une nouvelle.

Note

Attention avec Excel Lorque le fichier contient plusieurs feuillet (ou onglet), seule la dernière feuille de calcul est indexée dans le datastore. Il est donc nécessaire de déplacer la feuille de calcul contenant les données que vous souhaitez indexer dans le datastore en dernière place de votre tableur. Si vous ne voulez pas indexer vos données dans le datastore (pour plein de bonnes et mauvaises raisons), il suffit d’ajouter une feuille de calcul vide en dernière place de votre tableur.:

Les guides et outils de production des données

Si vous débutez en matière de réutilisation de données publiques, ouvertes, personnelles, sensibles, géographiques, etc.. nous vous invitons à commencer par découvrir la documentation produite par l’association OpenDataFrance :

Ressources Opendatalocale

D-lyne Outil de production des données respectant les standards existants, développé par OpendataFrance :

  • Saisie assistée
  • Contrôle de la qualité
  • Standardisation
  • Export et publication open data
  • Base de production permanente

Les Guides d’Etalab ont pour objectif de vous accompagner à améliorer la qualité de vos productions, collectes ou utilisation des données, codes sources de logiciel ou algorithmes :

#L’ouverture et la circulation des données :

  • Comment préparer des données à l’ouverture / la circulation ?
  • Quels jeux de données doivent être publiés en open data ?
  • Comment publier des jeux de données sur data.gouv.fr ?
  • Pourquoi et comment créer un schéma de données ?
  • Comment utiliser l’IA pour pseudonymiser des documents ?

#La transparence des algorithmes publics

  • Les algorithmes publics : pourquoi et comment les expliquer ?

#L’ouverture des codes sources de logiciels

  • Codes sources du secteur public : lesquels ouvrir, pourquoi et comment ?

Module de eLearning proposé par le portail européen de l’OpenData

Voir aussi

Table des matières détaillée

Note

Ces guides sont maintenus par l’équipe Datasud.