Aquilenet/Axione-IPE-Viewer
7
1
Fork 0
Code Issues 5 Pull requests Projects Releases Wiki Activity

Automatiser acquisition des IPEs #1

New issue
Open
opened 2022-02-22 19:03:00 +01:00 by felix.baylac · 1 comment
felix.baylac commented 2022-02-22 19:03:00 +01:00
Member
Copy link

Les IPEs nous sont fournies par Axione à l'aide d'un serveur FTP. Le nom du fichier reflète le type du fichier ainsi que la date des données.

L'acquisition des données est assez rapide, ~5 minutes pour toutes les IPE. Je ne pense pas qu'il soit necessaire de nous embêter avec les versions delta. Nous allons tout recréer tous les soir.

Il faudrait crée un script que l'on va lancer toutes les nuit qui va:

  1. Vérifier s'il n'y aurait pas de nouvelles IPEs sur le partage FTP.
  2. Si oui, télécharger toutes les IPEs dans un dossier temporaire.
  3. Lancer ./data-ingest/ingest sur les données afin de créer la nouvelle base de données.
  4. Copier la nouvelle base de données SQLite a la place de la précédente.

Il faudra bien prendre gare a ce que le script nous notifie d'une façon ou d'une autre (IRC? Email?) en cas d'erreur.

Les IPEs nous sont fournies par Axione à l'aide d'un serveur FTP. Le nom du fichier reflète le type du fichier ainsi que la date des données. L'acquisition des données est assez rapide, ~5 minutes pour **toutes** les IPE. Je ne pense pas qu'il soit necessaire de nous embêter avec les versions delta. Nous allons tout recréer tous les soir. Il faudrait crée un script que l'on va lancer toutes les nuit qui va: 1. Vérifier s'il n'y aurait pas de nouvelles IPEs sur le partage FTP. 2. Si oui, télécharger toutes les IPEs dans un dossier temporaire. 3. Lancer `./data-ingest/ingest` sur les données afin de créer la nouvelle base de données. 4. Copier la nouvelle base de données SQLite a la place de la précédente. Il faudra bien prendre gare a ce que le script nous notifie d'une façon ou d'une autre (IRC? Email?) en cas d'erreur.
felix.baylac added the
Acquisition de données
 label 2022-02-22 19:03:53 +01:00
felix.baylac changed title from Automatiser acquisition des IPEs. to Automatiser acquisition des IPEs 2022-02-24 10:40:19 +01:00
sacha commented 2022-04-14 01:51:12 +02:00
Owner
Copy link

Coucou,

il y a sur gaia:/srv/ftth_ipe_data/IPE-daily-ftp.sh et le cron qui va avec: /etc/cron.d/IPE-daily-ftp

il faut renseigner la variable baseDir et cela devrait être bon

Coucou, il y a sur gaia:/srv/ftth_ipe_data/IPE-daily-ftp.sh et le cron qui va avec: /etc/cron.d/IPE-daily-ftp il faut renseigner la variable baseDir et cela devrait être bon
❤️ 1
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
master
johan/ipes-update
netwo
nin/automated-ingest
nin/deploy
No results found.
Labels
Clear labels   
Acquisition de données

   
Webapp
No labels
Acquisition de données
Webapp
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set.

Reference: Aquilenet/Axione-IPE-Viewer#1
No description provided.
Delete branch "%!s()"

Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?