axione-elig-test/data/prepare-fantoir-db
Félix Baylac-Jacqué 17612b2a8b
Ajout d'un script d'ingestion des données laposte-insee
Je n'ai pas encore proprement releasé fast-fantoir. On pointe pour
l'instant sur une branche WIP. Le format de la DB générée ne devrait
pas cependant changer.

Ça vaudrait probablement le coup de wrapper tout le pipeline (ie.
génération des données FANTOIR *et* insee) dans un seul et même script
provisionné par Nix a terme.
2021-11-17 22:27:39 +01:00

33 lines
766 B
Bash
Executable file

#!/usr/bin/env bash
set -euo pipefail
if [ "$#" -ne 1 ]; then
echo "Usage: prepare-fantoir-db path-to-fantoir-db"
echo ""
echo "ERROR: Missing fantoir db"
exit 1
fi
fantoirDb="$1"
# Setup tmp working dir
tmpDir=$(mktemp -d)
posteData="${tmpDir}"/poste.csv
tmpSql="${tmpDir}"/import-insee-codes.sql
clean_tmp () {
rm -r "${tmpDir}"
}
trap clean_tmp EXIT
echo "Downloading the latest laposte insee data"
echo ""
curl "https://datanova.laposte.fr/explore/dataset/laposte_hexasmal/download/?format=csv&timezone=Europe/Berlin&lang=fr&use_labels_for_header=true&csv_separator=%3B" > "${posteData}"
cat >"${tmpSql}" <<EOF
.separator ";"
.import ${posteData} poste_insee
EOF
echo "Importing data to DB"
echo ""
sqlite3 "${fantoirDb}" < "${tmpSql}"