Valider les IPEs avant l'ingestion #6

New issue

Open

opened 2022-04-13 14:46:35 +02:00 by felix.baylac · 1 comment

felix.baylac commented

2022-04-13 14:46:35 +02:00

Member

On envoie les IPEs Arcep et Axione directement a SQLite via un import CSV. Il faudrait a minima valider le format et être sûr que les données ne sont pas délirantes avant de créer la DB SQLite.

felix.baylac referenced this issue

2022-04-13 14:47:11 +02:00

johan/consolidate-ipe-data #5

sacha commented

2022-04-14 22:22:12 +02:00

Owner

une piste:

root@gaia:~# head -1 /srv/ftth_ipe_data/tmp_ipe/A-IPE_257202432_SART_PM_IPEZMD_V31_20220413_4.csv |tr -cd ';'| wc -c
95
root@gaia:~# sed -n '2p' /srv/ftth_ipe_data/tmp_ipe/A-IPE_257202432_SART_PM_IPEZMD_V31_20220413_4.csv |tr -cd ';'| wc -c
95
root@gaia:~# sed -n '100p' /srv/ftth_ipe_data/tmp_ipe/A-IPE_257202432_SART_PM_IPEZMD_V31_20220413_4.csv |tr -cd ';'| wc -c
95

une piste: ``` root@gaia:~# head -1 /srv/ftth_ipe_data/tmp_ipe/A-IPE_257202432_SART_PM_IPEZMD_V31_20220413_4.csv |tr -cd ';'| wc -c 95 root@gaia:~# sed -n '2p' /srv/ftth_ipe_data/tmp_ipe/A-IPE_257202432_SART_PM_IPEZMD_V31_20220413_4.csv |tr -cd ';'| wc -c 95 root@gaia:~# sed -n '100p' /srv/ftth_ipe_data/tmp_ipe/A-IPE_257202432_SART_PM_IPEZMD_V31_20220413_4.csv |tr -cd ';'| wc -c 95 ```

👍 1