Clienti Amazon FSx per Lustre

DatologyAI crea strumenti che selezionano automaticamente i dati migliori su cui addestrare modelli di deep learning.

«Siamo entusiasti di utilizzare la soluzione di osservabilità con un clic di Amazon SageMaker HyperPod. I membri del nostro staff senior avevano bisogno di informazioni su come utilizziamo le risorse GPU. Le dashboard predefinite di Grafana ci forniranno esattamente ciò di cui avevamo bisogno, con visibilità immediata sulle metriche critiche, dall'utilizzo della GPU specifico per attività alle prestazioni del file system (FSx for Lustre), senza la necessità di mantenere alcuna infrastruttura di monitoraggio. Essendo una persona che apprezza la potenza del Prometheus Query Language, mi piace il fatto di poter scrivere le mie query e analizzare metriche personalizzate senza preoccuparmi dei problemi di infrastruttura».

Josh Wills, membro dello staff tecnico di DatologyAI

Apoidea sviluppa soluzioni basate sull'intelligenza artificiale per banche multinazionali utilizzando tecnologie di intelligenza artificiale generativa e deep learning all'avanguardia. Il loro prodotto di punta, SuperACC, è un sofisticato servizio di elaborazione dei documenti che utilizza modelli proprietari per gestire diversi documenti finanziari, inclusi estratti conto bancari e moduli KYC. Questa tecnologia ha migliorato notevolmente l'efficienza nel settore bancario, riducendo i tempi di elaborazione degli spread finanziari da 4-6 ore a soli 10 minuti.

Per supportare questo sviluppo, Apoidea utilizza Amazon SageMaker HyperPod, che fornisce un ambiente scalabile e flessibile per l'addestramento di modelli su larga scala. SageMaker HyperPod offre una gestione distribuita della formazione, una perfetta sincronizzazione dei dati con FSx for Lustre e ambienti personalizzabili, che migliorano l'efficienza del flusso di lavoro ML.

Adobe è stata fondata 40 anni fa con la semplice idea di creare prodotti innovativi in grado di cambiare il mondo e offre una tecnologia rivoluzionaria che consente a chiunque di immaginare, creare e dare vita a qualsiasi esperienza digitale ovunque ci si trovi. Piuttosto che affidarsi a modelli open source, Adobe ha deciso di addestrare i propri modelli di intelligenza artificiale generativa di base su misura per casi d'uso creativi. Adobe ha creato una via preferenziale per l'IA su AWS per costruire una piattaforma di formazione sull'IA e pipeline di dati allo scopo di iterare rapidamente i modelli. Adobe ha utilizzato Amazon FSx for Lustre per lo storage di file ad alte prestazioni, per un rapido accesso ai dati e per assicurarsi che le risorse GPU non vengano mai lasciate inattive.

«È facile pensare che creerò il mio cloud di intelligenza artificiale, ma la partnership con AWS ci consente di concentrarci sui nostri fattori di differenziazione»

Alexandru Costin, Vice President, Generative AI and Sensei presso Adobe

LG AI Research, il centro di ricerca sull'intelligenza artificiale (AI) del conglomerato sudcoreano LG Group, è stato fondato per promuovere l'intelligenza artificiale come parte della sua strategia di trasformazione digitale per guidare la crescita futura. L'istituto di ricerca ha sviluppato il motore EXAONE del modello base entro un anno utilizzando Amazon SageMaker e Amazon FSx for Lustre. Il modello di base imita gli umani mentre pensa, apprende e agisce da solo attraverso l'addestramento dei dati su larga scala. Questo modello di fondazione multiuso può essere impiegato in vari settori per svolgere molteplici attività.

Paige, uno dei principali fornitori di patologie digitali, ha cercato di migliorare i suoi modelli AI e ML per la diagnosi del cancro, ma ha dovuto affrontare dei limiti con le soluzioni locali. Per ovviare a questo problema, Paige ha adottato le istanze P4d di Amazon EC2 e Amazon FSx for Lustre, integrando quest'ultimo con i bucket Amazon S3 per una gestione efficiente di petabyte di dati di input ML. Questa infrastruttura AWS ha consentito a Paige di elaborare i dati senza preimpostazione manuale su file system ad alte prestazioni. Di conseguenza, Paige ha ottenuto un aumento di dieci volte della capacità di formazione dei dati e flussi di lavoro interni più veloci del 72%.

«Connettendo Amazon FSx for Lustre ad Amazon S3, possiamo addestrarci su una quantità di dati 10 volte superiore a quella che abbiamo mai provato nell'infrastruttura locale senza problemi. »

Alexander van Eck, staff AI engineer - Paige

Il Toyota Research Institute (TRI) raccoglie ed elabora grandi quantità di dati provenienti dai test dei propri veicoli autonomi. Ogni set di dati di training viene archiviato in un dispositivo NAS locale e trasferito ad Amazon Simple Storage Service (Amazon S3) prima di essere elaborato su un potente cluster di calcolo GPU. Il TRI aveva bisogno di un file system ad alte prestazioni da abbinare alle proprie risorse di calcolo per accelerare l'addestramento dei modelli di ML e ricavare più rapidamente le informazioni per i data scientist. Il Toyota Research Institute sceglie FSx per Lustre al fine di ridurre i tempi di addestramento del machine learning per il riconoscimento degli oggetti.

«Avevamo bisogno di un file system parallelo per i nostri set di dati di formazione ML e abbiamo scelto Amazon FSx for Lustre per la sua maggiore disponibilità e durata, rispetto alla nostra offerta di file system legacy. L'integrazione con i servizi AWS, incluso S3, l'ha resa anche l'opzione preferita per il nostro storage di file ad alte prestazioni. »

David Fluck, Software engineer (Ingegnere responsabile dei software) - Toyota Research Institute

Shell offre un portafoglio dinamico di opzioni energetiche, dal petrolio, al gas e petrolchimico, all'eolico, al solare e all'idrogeno: Shell è orgogliosa di fornire l'energia di cui i suoi clienti hanno bisogno per alimentare le loro vite. Shell si affida all'HPC per la creazione, il test e la convalida dei modelli. Dal 2020 al 2022, l'utilizzo della GPU è stato in media inferiore al 90%, con conseguenti ritardi nei progetti e limitazioni nella sperimentazione di nuovi algoritmi. Shell aumenta la capacità di elaborazione locale trasferendosi nel cloud con i cluster Amazon EC2 e Amazon FSx for Lustre. Questa soluzione garantisce a Shell la capacità di scalare rapidamente verso l'alto e verso il basso e di acquistare capacità di elaborazione aggiuntiva solo quando necessario. Le GPU Shell ora sono completamente utilizzate per ridurre i costi di elaborazione e accelerare i test dei modelli di machine learning.

Netflix utilizza una formazione distribuita su larga scala per i modelli multimediali ML, per miniature di post-produzione, VFX e generazione di trailer per migliaia di video e milioni di clip. Netflix stava riscontrando lunghe attese a causa della replica tra nodi e un tempo di inattività della GPU pari al 40%.

Netflix ha riprogettato la propria pipeline di caricamento dei dati e ne ha migliorato l'efficienza precalcolando tutti i clip video/audio. Le prestazioni di Amazon FSx per Lustre consentono a Netflix di saturare le GPU e, praticamente, di eliminare i loro tempi di inattività. Netflix ora sperimenta un miglioramento di 3-4 volte utilizzando la pre-elaborazione e FSx per Lustre, riducendo i tempi di addestramento dei modelli da una settimana a 1-2 giorni.

Guarda il video di Netflix

La produzione della quarta stagione della serie a episodi di Netflix "The Crown" ha affrontato sfide inaspettate, poiché il mondo ha subito l'isolamento per la pandemia da COVID-19 proprio quando il lavoro di post-produzione di VFX doveva iniziare. Adottando un flusso di lavoro basato su cloud su AWS, incluso il file server Amazon FSx Lustre per una maggiore produttività, il team VFX interno di Netflix, composto da 10 artisti, è stato in grado di completare senza problemi più di 600 riprese VFX per i 10 episodi della stagione in soli 8 mesi, il tutto lavorando da remoto.

Storengy, una filiale del gruppo ENGIE, è uno dei principali fornitori di gas naturale. L'azienda offre alle imprese di tutto il mondo soluzioni per lo stoccaggio del gas, soluzioni geotermiche, produzione di energia senza emissioni di carbonio e tecnologie di stoccaggio.

Per garantire lo stoccaggio corretto dei suoi prodotti, Storengy utilizza simulatori ad alta tecnologia per valutare lo stoccaggio sotterraneo di gas, un processo che richiede un utilizzo esteso dei carichi di lavoro di calcolo ad alte prestazioni (HPC). L'azienda utilizza la tecnologia HPC anche per eseguire lavori di scoperta ed esplorazione del gas naturale.

«Grazie ad AWS, abbiamo la scalabilità e l'elevata disponibilità per eseguire centinaia di simulazioni alla volta. Inoltre, la soluzione si ridimensiona automaticamente verso l'alto o verso il basso per supportare i periodi di picco del carico di lavoro, il che significa che non abbiamo sorprese con il nostro ambiente HPC. »

Jean-Frederic Thebault - Engineer (Ingegnere), Storengy

Smartronix sfrutta FSx per Lustre al fine di offrire prestazioni elevate e affidabili per le proprie implementazioni SAS Grid.

Smartronix fornisce soluzioni cloud, sicurezza informatica, integrazione di sistemi, C5ISR a livello mondiale, analisi dei dati e ingegneria mirata per molte delle principali organizzazioni commerciali e federali del mondo. L'azienda si è affidata a SAS Grid per analizzare e fornire statistiche giornaliere sul COVID a livello statale e ha riscontrato che il proprio file system parallelo autogestito era difficile da amministrare e proteggere.

«Collaborare con AWS e sfruttare le loro soluzioni gestite come FSx for Lustre ci ha permesso di servire meglio i nostri clienti, con una maggiore disponibilità e un costo inferiore del 29% rispetto ai file system autogestiti. »

Rob Mounier - Senior Solutions Architect (Architetto senior per le soluzioni), Smartronix

Hyundai Motor Company, un produttore automobilistico globale che esporta in oltre 200 paesi, utilizza la segmentazione semantica per la guida autonoma per classificare i pixel delle immagini in categorie come strade, persone ed edifici.

Per migliorare la precisione dei modelli e rispettare le scadenze, Hyundai ha implementato Amazon SageMaker per la formazione automatica e il parallelismo dei dati su più GPU, insieme ad Amazon FSx for Lustre e S3 per l'archiviazione e l'elaborazione efficienti dei dati. Queste soluzioni hanno aiutato Hyundai a raggiungere un'efficienza di scalabilità del 93% con 64 GPU eliminando i tempi di attesa dei dati.

Amazon FSx for Lustre ha svolto un ruolo cruciale nella trasformazione del cloud di Rivian, fornendo il rapido accesso allo storage condiviso necessario per i carichi di lavoro di ingegneria e progettazione assistiti da computer. Utilizzando FSx for Lustre come parte della propria soluzione AWS, Rivian ha migliorato notevolmente le metriche delle prestazioni, incluso un aumento del 66% della velocità di interazione con la gestione del ciclo di vita del prodotto e la riduzione dei tempi di sincronizzazione dei backup da un giorno a meno di un'ora.

Il servizio di storage completamente gestito è stato implementato insieme ad altri servizi AWS come Amazon EC2 e Auto Scaling, aiutando Rivian a superare i limiti dell'infrastruttura locale e a ottenere funzionalità di calcolo scalabili e ad alte prestazioni in sole tre settimane rispetto alla tempistica prevista di sei mesi.

Denso sviluppa sensori di immagine per sistemi avanzati di assistenza alla guida (ADAS), che aiutano i conducenti con funzioni come il parcheggio e il cambio di corsia. Per sviluppare i modelli ML necessari per il riconoscimento delle immagini ADAS, DENSO aveva creato cluster di GPU nel suo ambiente locale. Tuttavia, diversi ingegneri ML condividevano risorse GPU limitate, il che influiva sulla produttività, specialmente durante il periodo intenso prima del rilascio di un nuovo prodotto.

Adottando Amazon SageMaker e Amazon FSx for Lustre, Denso è stata in grado di accelerare la creazione di modelli di riconoscimento delle immagini ADAS riducendo i tempi di acquisizione dei dati, sviluppo del modello, apprendimento e valutazione.

«La pratica del passaggio al cloud continuerà ad accelerare nel campo dell'intelligenza artificiale e del machine learning. Sono sicuro che AWS continuerà a fornirci supporto man mano che continuiamo ad aggiungere funzioni".

Kensuke Yokoi, general manager - DENSO

T-Mobile ha trasformato la propria infrastruttura SAS Grid implementando Amazon FSx for Lustre per risolvere i problemi di prestazioni e gli elevati costi di gestione con il proprio sistema autogestito.

L'implementazione di FSx for Lustre, insieme alla sua integrazione con Amazon S3, ha consentito a T-Mobile di raddoppiare la velocità dei carichi di lavoro SAS Grid, ottenendo risparmi annuali di 1,5 milioni di dollari e una riduzione dell'83% del costo totale di proprietà.

La soluzione ha eliminato gli oneri operativi e ha consentito a T-Mobile di concentrarsi sul proprio core business, ovvero lo sviluppo di prodotti innovativi per i clienti, sfruttando al contempo le funzionalità di storage avanzate di AWS.

Maxar Technologies, partner fidato e innovatore nell'intelligenza terrestre e nelle infrastrutture spaziali, aveva bisogno di fornire previsioni meteorologiche più velocemente rispetto al suo supercomputer locale. Maxar ha collaborato con AWS per creare una soluzione HPC con tecnologie chiave tra cui AMAZON EC2 per risorse di calcolo sicure e altamente affidabili, Amazon FSx for Lustre per accelerare il throughput di lettura/scrittura della sua applicazione e AWS ParallelCluster per creare rapidamente ambienti di calcolo HPC su AWS.

«Maxar ha utilizzato Amazon FSx for Lustre nella nostra soluzione AWS HPC per eseguire il modello numerico di previsione meteorologica del NOAA. Questo ci ha permesso di ridurre i tempi di calcolo del 58%, generando le previsioni in circa 45 minuti a un prezzo molto più conveniente. Massimizzare le nostre risorse di calcolo AWS è stato un incredibile incremento delle prestazioni per noi. »

Stefan Cecelski, PhD, Senior Data Scientist & Engineer (Data scientist e ingegnere senior) - Maxar Technologies

L'elaborazione dei dati di risonanza magnetica (MRI) utilizzando file system cloud fai-da-te standard richiedeva risorse e tempo. BlackThorn aveva bisogno di una soluzione di archiviazione di file condivisa e ad alta intensità di calcolo per semplificare i flussi di lavoro relativi a data science e machine learning. Amazon FSx for Lustre è integrato con Amazon S3 e Amazon SageMaker, fornendo un'elaborazione rapida per i loro set di dati di formazione ML e un accesso senza interruzioni all'elaborazione tramite istanze Amazon EC2.

«FSx for Lustre ci ha permesso di creare una pipeline di elaborazione dati RM ad alte prestazioni. Il tempo di elaborazione dei dati per i nostri flussi di lavoro basati su ML è stato ridotto a pochi minuti rispetto a giorni e settimane. »

Oscar Rodriguez, Senior Director (Direttore senior), Innovazione e tecnologia - BlackThorn Therapeutics

Qubole era alla ricerca di una soluzione di storage ad alte prestazioni per elaborare carichi di lavoro analitici e AI/ML per i propri clienti. Aveva bisogno di archiviare ed elaborare facilmente i dati intermedi contenuti nella serie di istanze spot EC2. Qubole ha utilizzato Amazon FSx for Lustre per archiviare ed elaborare dati intermedi attraverso il suo file system parallelo ad alta velocità.

«I due maggiori problemi dei nostri utenti, i costi elevati e la perdita di dati intermedia, derivavano dall'utilizzo di istanze EC2 inattive e istanze EC2 Spot per elaborare e archiviare dati intermedi generati da framework di elaborazione distribuiti come Hive e Spark. Siamo riusciti a risolvere questo problema utilizzando Amazon FSx per Lustre, un file system ad alte prestazioni, per scaricare dati intermedi. Ora i nostri utenti non devono pagare per mantenere le istanze inattive e non sono interessati dalle interruzioni dei nodi spot EC2. Amazon FSx ha aiutato i nostri utenti a ridurre i costi totali del 30%. »

Joydeep Sen Sarma, CTO - Qubole