Stage : Stage - Data Management H/F

Contenu de l'offre Stage : Stage - Data Management H/F chez Atos

Stage - Data Management H/F

Publish Date: Oct 1, 2021

Location: 

Grenoble - 38, Rhône-Alpes, FR-France
#job-location.job-location-inline { display: inline; }

Company: Atos

À propos d’Atos

 

Atos est un leader international de la transformation digitale avec 110 000 collaborateurs dans 73 pays et un chiffre d’affaires annuel de 12 milliards d’euros. Numéro un européen du Cloud, de la cybersécurité et des supercalculateurs, le Groupe fournit des solutions intégrées de Cloud Hybride Orchestré, Big Data, Applications Métiers et Environnement de Travail Connecté. Partenaire informatique mondial des Jeux Olympiques et Paralympiques, le Groupe exerce ses activités sous les marques Atos, Atos|Syntel, et Unify. 

 

La raison d’être d’Atos est de contribuer à façonner l’espace informationnel. Avec ses compétences et ses services, le Groupe supporte le développement de la connaissance, de l’éducation et de la recherche dans une approche pluriculturelle et contribue au développement de l’excellence scientifique et technologique. Partout dans le monde, Atos permet à ses clients et à ses collaborateurs, et plus généralement au plus grand nombre, de vivre, travailler et progresser durablement et en toute confiance dans l’espace informationnel.

 

 

Contexte :

 

Le produit Flash Accelerators, et notamment son composant Smart Burst Buffer (SBB), permet aux applications HPC d’augmenter la vitesse de leurs étapes de lecture/écriture de données en mettant à leur disposition des accélérateurs basés sur des mémoires de masse non volatiles (NVME).

 

Plus particulièrement, le composant SBB fournit un étage de cache de données basé sur NVME, dans lequel sont stockées toutes les opérations d’I/O de l’application HPC. Ce cache est structuré opération par opération, et écrit, relu, et transféré vers le système de fichier final selon ce même schéma, ce qui peut amener des performances moindres et/ou une charge élevée sur ce système de fichier.

 

 

Mission : 

 

Le stage consiste à faire le design, puis implémenter un prototype améliorant les caractéristiques de l’étape de transfert des données depuis le stockage en NVME vers le système de fichiers final, à partir de plusieurs pistes :

• Repérer les blocs de données contigus dans le cache et les transférer en une seule fois

• Utiliser les syscalls vectorisés (writev()) pour transférer d’un seul coup des ensembles d’opérations non ordonnées mais étant stockées ensemble dans la mémoire NVME, ce qui implique de modifier le mécanisme de parcours du cache

• A partir de statistiques de charge fournies par le système de fichiers final, mettre en place des mécanismes permettant de limiter les sollicitations de celui-ci pour éviter un écroulement de sa qualité de service

• Si possible, repérer et agréger en amont les blocs contigus avant leur stockage dans le cache

 

 

Plus précisément, le candidat sera amené à : - Se familiariser avec le contexte d’exécution des applications sur un cluster HPC (Gestionnaire de jobs, opérations sur le système de fichiers parallèle Lustre, applications de calcul distribuées)

- Assimiler les technologies de délégation d’I/O développées au sein d’Atos dans le cadre de ses produits Flash Accelerators, et comprendre les problèmes liés à leur implémentation actuelle

- A partir des pistes proposées, ou d’autres, développer un prototype améliorant certains des problèmes soulevés

- Démontrer le prototype sur une ou plusieurs applications HPC, et évaluer les performances du système proposé

 

 

Profil : 

 

Niveau BAC+4 / Master 2, vous avez des compétences en développement C (et fonctions Posix), shell scripts, git, et maîtrisez les environnements Linux.

Vous êtes intéressé par les aspects bas niveau et système.

Vous possédez un bon niveau d'anglais. Vous faites preuve de curiosité, d'autonomie et d'une capacité à finaliser un projet.

Par ailleurs, vous êtes reconnus pour votre aptitude à travailler en équipe. Venez exprimer tout votre potentiel en rejoignant la communauté Atos !

 

 

Chez Atos, nous voulons que nos employés se sentent valorisés, appréciés et libres d'être eux-mêmes au travail. Nos process RH sont conçus pour prévenir la discrimination envers l'identité ou l'orientation sexuelle, la religion, l’origine ethnique, l'âge, la neurodiversité, le handicap, la citoyenneté ou tout autre aspect qui rend nos collaborateurs uniques. Partout dans le monde, nous avons créé plusieurs programmes pour soutenir la culture inclusive d'Atos, et nous travaillons pour nous assurer que tous nos collaborateurs aient une chance égale de sentir qu'ils sont exactement là où ils doivent être.