L’objectif du stage est d’explorer les différentes solutions de cache de données distribué, en particulier P2P, répondant aux contraintes d’ArmoniK.
ArmoniK est un système hybride entre un orchestrateur HTC/HPC et un “runtime HPC par tâche”. Développé conjointement avec AWS et Crédit Agricole, ArmoniK permet d’exécuter des graphes de tâches sur des cluster Kubernetes. Les graphes de tâches peuvent être complétés au fur et à mesure de l’exécution aussi bien depuis le code de soumission des tâches mais aussi directement depuis les tâches elles-même. Pensé pour être élastique et résilient, ArmoniK permet de faire varier le nombre de nœuds et offre des services de monitoring à l'échelle de la tâche. ArmoniK est utilisé en production et permet d’exécuter des milions de tâches sur des milliers de nœuds dans AWS. Il sera mis en production sur une infrastructure on-premises début 2023.
ArmoniK s’appuie sur un service de stockage distant des nœuds de calcul pour stocker les données d’entrées et de sortie des tâches. ArmoniK recouvre dans la mesure du possible les calculs d’une tâches et les transferts des données des tâches précédente et suivante. Afin de réduire les temps de transferts, nous souhaitons mettre en place un cache de données sur chaque nœud. Afin de bénéficier au mieux de l'élasticité de l’infrastructure, ce cache fonctionnera idéalement sur une technologie P2P. L’objectif du stage sera d’effectuer un état de l’art et de benchmarker différentes solutions avant de l’intégrer à ArmoniK.
Note : bien que de nombreux sujets de stage soient proposés autour d’ArmoniK, nous n’accueuillerons pas plus de quatre stagiaires ArmoniK simultanéement au sein de l'équipe. Les sujets seront priorisés en fonction des compétences et appétences des candidats.
Candidater via mail sur recrut’at’aneo.fr