Clients d'Amazon FSx pour Lustre

DatologyAI crée des outils qui sélectionnent automatiquement les meilleures données sur lesquelles entraîner des modèles d'apprentissage profond.

« Nous sommes ravis d'utiliser la solution d'observabilité en un clic d'Amazon SageMaker HyperPod. Les membres de notre personnel supérieur avaient besoin d'informations sur la façon dont nous utilisons les ressources du GPU. Les tableaux de bord Grafana prédéfinis nous fourniront exactement ce dont nous avions besoin, avec une visibilité immédiate sur les indicateurs critiques, de l'utilisation du GPU spécifique aux tâches aux performances du système de fichiers (FSx pour Lustre), sans que nous ayons à maintenir une infrastructure de surveillance. En tant que personne appréciant la puissance du langage de requête Prometheus, j'apprécie le fait de pouvoir écrire mes propres requêtes et analyser des métriques personnalisées sans me soucier des problèmes d'infrastructure. »

Josh Wills, membre du personnel technique de DatologyAI

Apoidea développe des solutions basées sur l'IA pour les banques multinationales en utilisant des technologies d'IA générative de pointe et d'apprentissage profond. Leur produit phare, SuperACC, est un service de traitement de documents sophistiqué qui utilise des modèles propriétaires pour gérer divers documents financiers, y compris les relevés bancaires et les formulaires KYC. Cette technologie a considérablement amélioré l'efficacité du secteur bancaire, réduisant le temps de traitement des étalages financiers de 4 à 6 heures à seulement 10 minutes.

Pour soutenir ce développement, Apoidea utilise Amazon SageMaker HyperPod, qui fournit un environnement évolutif et flexible pour la formation de modèles à grande échelle. SageMaker HyperPod propose une gestion distribuée de la formation, une synchronisation fluide des données avec FSx for Lustre et des environnements personnalisables, qui améliorent tous l'efficacité du flux de travail de machine learning.

Adobe a été fondée il y a 40 ans sur la simple idée de créer des produits innovants qui changent le monde. L’entreprise propose une technologie révolutionnaire qui permet à chacun, où qu’il soit, d’imaginer, de créer et de donner vie à n’importe quelle expérience numérique. Plutôt que de s'appuyer sur des modèles open source, Adobe a décidé de développer ses propres modèles d'IA génératifs fondamentaux, adaptés à des cas d'utilisation créatifs. Adobe a créé une autoroute de l’IA sur AWS afin de créer une plateforme d’entraînement de l’IA et des pipelines de données permettant d’itérer rapidement les modèles. Adobe a utilisé Amazon FSx pour le stockage de fichiers hautes performances de Lustre, afin d'accéder rapidement aux données et de s'assurer que les ressources du processeur graphique ne restent jamais inactives.

« Il est facile de penser que je vais créer mon propre cloud d'IA, mais le partenariat avec AWS nous permet de nous concentrer sur nos facteurs de différenciation »

Alexandru Costin, Vice President, Generative AI and Sensei chez Adobe

LG AI Research, le centre de recherche en intelligence artificielle (IA) du conglomérat sud-coréen LG Group, a été fondé pour promouvoir l'IA dans le cadre de sa stratégie de transformation numérique visant à stimuler la croissance future. L'institut de recherche a développé son modèle de base, le moteur EXAONE, en un an, à l'aide d'Amazon SageMaker et d'Amazon FSx pour Lustre. Le modèle de base imite les humains qui pensent, apprennent et agissent de leur propre chef grâce à un entraînement aux données à grande échelle. Le modèle de fondation polyvalent peut être utilisé dans plusieurs secteurs pour effectuer diverses tâches.

Paige, l'un des principaux fournisseurs de pathologies numériques, a cherché à améliorer ses modèles d'IA et de ML pour le diagnostic du cancer, mais s'est heurtée à des limites liées aux solutions sur site. Pour y remédier, Paige a adopté les instances Amazon EC2 P4d et Amazon FSx pour Lustre, en intégrant ces dernières aux compartiments Amazon S3 pour une gestion efficace des pétaoctets de données d'entrée ML. Cette infrastructure AWS a permis à Paige de traiter les données sans préréglage manuel sur des systèmes de fichiers performants. Paige a ainsi multiplié par dix sa capacité de formation aux données et accéléré les flux de travail internes de 72 %.

« En connectant Amazon FSx for Lustre à Amazon S3, nous pouvons utiliser 10 fois plus de données que ce que nous avons essayé jusqu'à présent dans l'infrastructure sur site sans aucun problème. «

Alexander van Eck, staff AI engineer - Paige

Le Toyota Research Institute (TRI) collecte et traite de grandes quantités de données de capteurs provenant des essais de conduite de ses véhicules autonomes. Chaque ensemble de données d'entraînement est stocké sur un périphérique NAS sur site et transféré vers Amazon Simple Storage Service (Amazon S3) avant d'être traité sur un puissant cluster de calcul GPU. TRI avait besoin d'un système de fichiers à hautes performances pour l'associer à ses ressources de calcul, accélérer l’entraînement de ses modèles de ML et fournir des informations plus rapidement à ses scientifiques des données. Le Toyota Research Institute choisit FSx pour Lustre afin de réduire les temps d’entraînement du machine learning en matière de reconnaissance d'objets.

« Nous avions besoin d'un système de fichiers parallèle pour nos ensembles de données de formation ML et nous avons choisi Amazon FSx pour Lustre en raison de sa disponibilité et de sa durabilité accrues par rapport à notre offre de systèmes de fichiers traditionnels. L'intégration aux services AWS, y compris S3, en a également fait l'option préférée pour notre stockage de fichiers haute performance. «

David Fluck, ingénieur logiciel chez Toyota Research Institute

Shell propose un portefeuille dynamique d'options énergétiques, allant du pétrole, du gaz et de la pétrochimie à l'énergie éolienne, solaire et à l'hydrogène. Shell est fière de fournir l'énergie dont ses clients ont besoin pour alimenter leur vie. Shell s'appuie sur le HPC pour la création, les tests et la validation de modèles. De 2020 à 2022, l'utilisation du GPU a été inférieure à 90 % en moyenne, ce qui a entraîné des retards dans les projets et des limites à l'expérimentation de nouveaux algorithmes. Shell augmente sa capacité de calcul sur site en passant au cloud avec les clusters Amazon EC2 et Amazon FSx pour Lustre. Cette solution permet à Shell d'augmenter ou de diminuer rapidement, et d'acheter de la capacité de calcul supplémentaire uniquement en cas de besoin. Les GPU de Shell sont désormais pleinement utilisés, ce qui réduit les coûts de calcul et accélère les tests de modèles de machine learning.

Netflix utilise une formation distribuée à grande échelle pour les modèles multimédia ML, pour les miniatures de post-production, les effets visuels et la génération de bandes-annonces pour des milliers de vidéos et des millions de clips. Netflix était confronté à de longues attentes en raison de la réplication entre nœuds et d'un temps d'inactivité du GPU de 40 %.

Netflix a repensé l'architecture de son pipeline de chargement de données et amélioré son efficacité en précalculant tous les clips vidéo/audio. Les performances d'Amazon FSx pour Lustre permettent à Netflix de saturer les GPU et d'éliminer pratiquement le temps d'inactivité des GPU. Netflix bénéficie désormais d'une amélioration de 3 à 4 fois supérieure grâce au précalcul et à FSx pour Lustre, réduisant ainsi le temps d'entrainement des modèles d'une semaine à 1 à 2 jours.

Regardez la vidéo Netflix

La production de la quatrième saison de la série dramatique épisodique de Netflix « The Crown » a dû faire face à des défis inattendus. En effet, le monde s'est confiné en raison de la pandémie de COVID-19, juste au moment où le travail de post-production des effets visuels devait commencer. En adoptant un flux de travail basé sur le cloud sur AWS, y compris le serveur de fichiers Amazon FSx Lustre pour un débit amélioré, l'équipe interne des effets visuels de Netflix, composée de 10 artistes, a pu réaliser de manière fluide plus de 600 plans d'effets visuels pour les 10 épisodes de la saison en seulement 8 mois, tout en travaillant à distance.

Storengy, filiale du groupe ENGIE, est l'un des principaux fournisseurs de gaz naturel. L'entreprise propose aux entreprises du monde entier des technologies de stockage de gaz, de solutions géothermiques, de production d'énergie sans carbone et de stockage.

Pour s'assurer que ses produits sont correctement stockés, Storengy utilise des simulateurs de haute technologie pour évaluer le stockage souterrain du gaz, un processus qui nécessite l’utilisation intensive de charges de travail informatiques à haute performance (HPC). L'entreprise utilise également la technologie HPC pour effectuer des tâches de découverte et d'exploration du gaz naturel.

« Grâce à AWS, nous disposons de l'évolutivité et de la haute disponibilité nécessaires pour effectuer des centaines de simulations à la fois. De plus, la solution évolue automatiquement vers le haut ou vers le bas pour faire face à nos périodes de pointe de charge de travail, ce qui signifie que nous n'avons aucune surprise avec notre environnement HPC. «

Jean-Frédéric Thebault, ingénieur chez Storengy

Smartronix tire parti de FSx pour Lustre pour fournir des performances fiables et élevées pour ses déploiements SAS Grid.

Smartronix fournit des solutions cloud, de la cybersécurité, de l’intégration de systèmes, du C5ISR et de l’analyse de données dans le monde entier, ainsi que de l’ingénierie axée sur les missions pour de nombreuses organisations commerciales et fédérales parmi les plus importantes du monde. Smartronix s'est appuyée sur SAS Grid pour analyser et fournir des statistiques quotidiennes sur la COVID à l'échelle de l'État, et a trouvé son système de fichiers parallèle autogéré difficile à administrer et à protéger.

« La collaboration avec AWS et l'exploitation de leurs solutions gérées telles que FSx for Lustre nous ont permis de mieux servir nos clients, avec une disponibilité accrue et un coût inférieur de 29 % à celui des systèmes de fichiers autogérés. «

Rob Mounier, architecte de solutions en chef chez Smartronix

Hyundai Motor Company, un constructeur automobile mondial exportant dans plus de 200 pays, utilise la segmentation sémantique pour la conduite autonome afin de classer les pixels des images en catégories telles que les routes, les personnes et les bâtiments.

Pour améliorer la précision des modèles et respecter les délais, Hyundai a mis en œuvre Amazon SageMaker pour la formation automatisée et le parallélisme des données sur plusieurs GPU, ainsi qu'Amazon FSx pour Lustre et S3 pour un stockage et un traitement efficaces des données. Ces solutions ont permis à Hyundai d'atteindre une efficacité d'évolutivité de 93 % avec 64 GPU tout en éliminant les temps d'attente pour les données.

Amazon FSx for Lustre a joué un rôle crucial dans la transformation cloud de Rivian, en fournissant l'accès au stockage partagé rapide nécessaire à ses charges de travail d'ingénierie et de conception assistées par ordinateur. En utilisant FSx for Lustre dans le cadre de sa solution AWS, Rivian a considérablement amélioré ses indicateurs de performance, notamment en augmentant de 66 % la vitesse d'interaction avec la gestion du cycle de vie des produits et en réduisant le temps de synchronisation des sauvegardes d'un jour à moins d'une heure.

Le service de stockage entièrement géré a été mis en œuvre parallèlement à d'autres services AWS tels qu'Amazon EC2 et Auto Scaling, aidant Rivian à surmonter les limites de son infrastructure sur site et à atteindre des capacités informatiques évolutives et hautes performances en seulement trois semaines, contre six mois prévus.

Denso développe des capteurs d'image pour les systèmes avancés d'assistance au conducteur (ADAS), qui aident les conducteurs à utiliser des fonctions telles que le stationnement et le changement de voie. Pour développer les modèles de machine learning nécessaires à la reconnaissance d'image ADAS, DENSO avait créé des clusters GPU dans son environnement sur site. Cependant, plusieurs ingénieurs du ML partageaient des ressources GPU limitées, ce qui a eu une incidence sur la productivité, en particulier pendant la période chargée précédant le lancement d'un nouveau produit.

En adoptant Amazon SageMaker et Amazon FSx pour Lustre, Denso a pu accélérer la création de modèles de reconnaissance d'image ADAS en réduisant le temps d'acquisition de données, de développement de modèles, d'apprentissage et d'évaluation.

« La pratique du passage au cloud va continuer de s'accélérer dans le domaine de l'intelligence artificielle et du machine learning. Je suis convaincu qu'AWS continuera à nous apporter son assistance alors que nous continuons à ajouter des fonctionnalités. »

Kensuke Yokoi, general manager - DENSO

T-Mobile a transformé son infrastructure SAS Grid en implémentant Amazon FSx pour Lustre afin de résoudre les problèmes de performances et les frais de gestion élevés liés à son système autogéré.

Le déploiement de FSx pour Lustre, ainsi que son intégration à Amazon S3, ont permis à T-Mobile de doubler les vitesses de charge de travail de SAS Grid tout en réalisant des économies annuelles de 1,5 million de dollars et une réduction de 83 % du coût total de possession.

La solution a éliminé les charges opérationnelles et a permis à T-Mobile de se concentrer sur son activité principale, à savoir le développement de produits clients innovants, tout en tirant parti des capacités de stockage avancées d'AWS.

Maxar Technologies, partenaire de confiance et innovateur dans le domaine de l'intelligence de la Terre et des infrastructures spatiales, avait besoin de fournir des prévisions météorologiques plus rapidement que son superordinateur sur site. Maxar a travaillé avec AWS pour créer une solution HPC intégrant des technologies clés, notamment AMAZON EC2 pour des ressources de calcul sécurisées et hautement fiables, Amazon FSx pour Lustre pour accélérer le débit de lecture/écriture de son application et AWS ParallelCluster pour créer rapidement des environnements de calcul HPC sur AWS.

« Maxar a utilisé Amazon FSx pour Lustre dans notre solution HPC AWS pour exécuter le modèle numérique de prévisions météorologiques de la NOAA. Cela nous a permis de réduire le temps de calcul de 58 % et de générer les prévisions en 45 minutes environ à un nettement plus avantageux. L'optimisation de nos ressources de calcul AWS a considérablement amélioré nos performances. «

Stefan Cecelski, Ph. D. ingénieur et scientifique en chef des données chez Maxar Technologies

Le traitement des données d'imagerie par résonance magnétique (IRM) à l'aide de systèmes de fichiers cloud DiY standard exigeait beaucoup de ressources et de temps. BlackThorn avait besoin d'une solution de stockage de fichiers partagés à forte intensité de calcul pour simplifier ses flux de travail de science des données et de machine learning. Amazon FSx for Lustre est intégré à Amazon S3 et Amazon SageMaker, ce qui permet un traitement rapide de leurs ensembles de données d'apprentissage automatique ainsi qu'un accès fluide au calcul à l'aide des instances Amazon EC2.

« FSx for Lustre nous a permis de créer un pipeline de traitement de données IRM de haute performance. Le temps de traitement des données pour nos flux de travail basés sur le machine machine a été réduit à quelques minutes au lieu de plusieurs jours et semaines. «

Oscar Rodriguez, directeur principal de l'innovation et de la technologie chez BlackThorn Therapeutics

Qubole recherchait une solution de stockage hautes performances pour traiter les charges de travail analytiques et d'IA/ML pour ses clients. Ils avaient besoin de stocker et de traiter facilement les données intermédiaires contenues dans leur parc d’instances Spot EC2. Qubole a utilisé Amazon FSx pour Lustre afin de stocker et de traiter des données intermédiaires via son système de fichiers parallèle à haut débit.

« Les deux principaux problèmes de nos utilisateurs, à savoir les coûts élevés et la perte de données intermédiaires, découlaient de l'utilisation d'instances EC2 inactives et d'instances EC2 Spot pour traiter et stocker des données intermédiaires générées par des infrastructures de traitement distribuées telles que Hive et Spark. Nous avons pu résoudre ce problème en utilisant Amazon FSx pour Lustre, un système de fichiers très performant, pour décharger les données intermédiaires. Désormais, nos utilisateurs n'ont pas à payer pour maintenir les instances inactives et ne sont pas affectés par l'interruption des nœuds Spot EC2. Amazon FSx a aidé nos utilisateurs à réduire leurs coûts totaux de 30 %. «

Joydeep Sen Sarma, directeur technique – Qubole