Stage de developpement logiciel : Intégration de Nextflow et/ou Airflow dans ArmoniK

Description

ArmoniK est un Function-as-a-Service (FaaS) dont les fonctionnalités ont été étendues à la gestion des données et des dépendances entre les instances d’exécution des fonctions. En utilisant ArmoniK, les utilisateurs sont capables d’exprimer leurs calculs complexes sous la forme d’un graphe où les arrêtes représentent des données et les nœuds représentent les instances d’exécution des fonctions appliquées aux données. Ces calculs peuvent ensuite être distribués sur des infrastructures de calculs à grande échelle afin de minimiser le temps total d’exécution et d’optimiser l’utilisation des ressources de calcul. ArmoniK peut être ainsi vu comme un puissant moteur d’orchestration doublé d’un modèle de programmation basé sur les tâches permettant de construire des applications parallèles et distribuées.

Dans l’optique de faciliter l’adoption d’ArmoniK par de nouveaux utilisateurs, une approche serait de rendre possible l’exécution d’applications existantes conçues pour d’autres outils sur ArmoniK. Les outils dédiés aux pipelines de données tels que Nextflow et Airflow sont d’excellents candidats. L’intégration d’ArmoniK avec de tels systèmes permettrait à leurs utilisateurs d’adopter ArmoniK comme environnement d’exécution sans coût de portage afin de profiter de ses fonctionnalités avancées et de son orchestration performante.

(https://github.com/aneoconsulting/ArmoniK)

Les missions ou attendus à la fin du stage :

  • Analyse comparative entre ArmoniK et Nextflow (et/ou Airflow)
  • Étude de faisabilité de l’intégration d’ArmoniK dans Nextflow et/ou Airflow
  • Réalisation de l’intégration de Nextflow et/ou Airflow
  • Créer des pipelines de référence pour démontrer les bénéfices de cette intégration.
  • Documenter votre travail et contribuer à l’amélioration de la documentation existante.

Mots-clés: ArmoniK, POO, CI/CD, Docker

Pré-requis

Bonne connaissance de la programmation orientée objet en Java et/ou en Python CI/CD Docker (Kubernetes est un plus) Connaissances en Linux et en ligne de commande Expérience avec les outils de gestion de version (GIt)

Contacts : mtraore@aneo.fr ou recrut@aneo.fr Lieu du stage : Boulogne Billancourt Durée du stage : 6 mois minimum Démarrage : 1er semestre 2025 Niveau d'étude : Master 2 Télétravail : après 3 mois d’ancienneté (voir conditions de notre charte) Gratification stage : 1300 euros par mois