L’objectif de ce stage sera d'établir un état de l’art des stratégies d’ordonnancement applicables au contexte particulier d’ArmoniK et ses nombreuses inconnues.

ArmoniK est un système hybride entre un orchestrateur HTC/HPC et un “runtime HPC par tâche”. Développé conjointement avec AWS et Crédit Agricole, ArmoniK permet d’exécuter des graphes de tâches sur des cluster Kubernetes. Les graphes de tâches peuvent être complétés au fur et à mesure de l’exécution aussi bien depuis le code de soumission des tâches mais aussi directement depuis les tâches elles-même. Pensé pour être élastique et résilient, ArmoniK permet de faire varier le nombre de nœuds et offre des services de monitoring à l'échelle de la tâche. ArmoniK est utilisé en production et permet d’exécuter des milions de tâches sur des milliers de nœuds dans AWS. Il sera mis en production sur une infrastructure on-premises début 2023.

L’algorithme d’ordonnancement actuel d’ArmoniK est globalement basé sur un systèmes de FIFOs avec priorités. Aucune stratégie d’optimisation permettant de minimiser la quantité de communication n’a encore été mise en œuvre. L’objectif de ce stage sera d'établir un état de l’art des stratégies d’ordonnancement applicables au contexte particulier d’ArmoniK et ses nombreuses inconnues. Selon l'état d’avancement, des expérimentations seront à prévoir. Ce stage pourra déboucher sur une thèse.

Note : bien que de nombreux sujets de stage soient proposés autour d’ArmoniK, nous n’accueuillerons pas plus de quatre stagiaires ArmoniK simultanéement au sein de l'équipe. Les sujets seront priorisés en fonction des compétences et appétences des candidats.

Mots-clés : Programmation distribuée par tâches, Kubernetes, logiciel open-source

Pré-requis : Programmation orientée objet, programmation parallèle et/ou distribuée, profiling de performances

Compétences optionnelles : Kubernetes, cloud, Terraform, C#, CI/CD

Contacts :

Candidater via mail sur recrut’at’aneo.fr

  • Florian Lemaitre - flemaitre’at’aneo.fr
  • Jérôme Gurhem - jgurhem’at’aneo.fr
  • Lilia Ziane Khodja - lzianekhodja’at’aneo.fr

Lieu du stage : Boulogne Billancourt

Référence :