Automatiser acquisition des IPEs #1

Open
opened 2022-02-22 19:03:00 +01:00 by felix.baylac · 1 comment
Member

Les IPEs nous sont fournies par Axione à l'aide d'un serveur FTP. Le nom du fichier reflète le type du fichier ainsi que la date des données.

L'acquisition des données est assez rapide, ~5 minutes pour toutes les IPE. Je ne pense pas qu'il soit necessaire de nous embêter avec les versions delta. Nous allons tout recréer tous les soir.

Il faudrait crée un script que l'on va lancer toutes les nuit qui va:

  1. Vérifier s'il n'y aurait pas de nouvelles IPEs sur le partage FTP.
  2. Si oui, télécharger toutes les IPEs dans un dossier temporaire.
  3. Lancer ./data-ingest/ingest sur les données afin de créer la nouvelle base de données.
  4. Copier la nouvelle base de données SQLite a la place de la précédente.

Il faudra bien prendre gare a ce que le script nous notifie d'une façon ou d'une autre (IRC? Email?) en cas d'erreur.

Les IPEs nous sont fournies par Axione à l'aide d'un serveur FTP. Le nom du fichier reflète le type du fichier ainsi que la date des données. L'acquisition des données est assez rapide, ~5 minutes pour **toutes** les IPE. Je ne pense pas qu'il soit necessaire de nous embêter avec les versions delta. Nous allons tout recréer tous les soir. Il faudrait crée un script que l'on va lancer toutes les nuit qui va: 1. Vérifier s'il n'y aurait pas de nouvelles IPEs sur le partage FTP. 2. Si oui, télécharger toutes les IPEs dans un dossier temporaire. 3. Lancer `./data-ingest/ingest` sur les données afin de créer la nouvelle base de données. 4. Copier la nouvelle base de données SQLite a la place de la précédente. Il faudra bien prendre gare a ce que le script nous notifie d'une façon ou d'une autre (IRC? Email?) en cas d'erreur.
felix.baylac added the
Acquisition de données
label 2022-02-22 19:03:53 +01:00
felix.baylac changed title from Automatiser acquisition des IPEs. to Automatiser acquisition des IPEs 2022-02-24 10:40:19 +01:00
Owner

Coucou,

il y a sur gaia:/srv/ftth_ipe_data/IPE-daily-ftp.sh et le cron qui va avec: /etc/cron.d/IPE-daily-ftp

il faut renseigner la variable baseDir et cela devrait être bon

Coucou, il y a sur gaia:/srv/ftth_ipe_data/IPE-daily-ftp.sh et le cron qui va avec: /etc/cron.d/IPE-daily-ftp il faut renseigner la variable baseDir et cela devrait être bon
Sign in to join this conversation.
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: Aquilenet/Axione-IPE-Viewer#1
No description provided.