Clientes do Amazon FSx para Lustre

O DatologyAI cria ferramentas que selecionam automaticamente os melhores dados para treinar modelos de aprendizado profundo.

“Estamos entusiasmados em usar a solução de observabilidade com um clique do Amazon SageMaker HyperPod. Nossos funcionários seniores precisavam de informações sobre como estamos utilizando os recursos de GPU. Os painéis pré-criados do Grafana nos darão exatamente o que precisávamos, com visibilidade imediata das métricas críticas, desde a utilização de GPU em tarefas específicas até o desempenho do sistema de arquivos (FSx for Lustre), sem exigir a manutenção de nenhuma infraestrutura de monitoramento. Como alguém que aprecia o poder da Prometheus Query Language, gosto do fato de poder escrever minhas próprias consultas e analisar métricas personalizadas sem me preocupar com problemas de infraestrutura.”

Josh Wills, membro da equipe técnica da DatologyAI

A Apoidea desenvolve soluções baseadas em IA para bancos multinacionais usando IA generativa de ponta e tecnologias de aprendizado profundo. Seu principal produto, o SuperACC, é um serviço sofisticado de processamento de documentos que emprega modelos proprietários para lidar com diversos documentos financeiros, incluindo extratos bancários e formulários KYC. Essa tecnologia melhorou drasticamente a eficiência no setor bancário, reduzindo o tempo de processamento da distribuição financeira de 4 a 6 horas para apenas 10 minutos.

Para apoiar esse desenvolvimento, a Apoidea utiliza o Amazon SageMaker HyperPod, que fornece um ambiente escalável e flexível para treinamento de modelos em grande escala. O SageMaker HyperPod oferece gerenciamento de treinamento distribuído, sincronização perfeita de dados com o FSx for Lustre e ambientes personalizáveis, todos os quais aprimoram a eficiência do fluxo de trabalho de ML.

A Adobe foi fundada há 40 anos com a simples ideia de criar produtos inovadores que mudassem o mundo. Ela oferece tecnologia pioneira que permite a todos, em qualquer lugar, a imaginar, criar e dar vida a qualquer experiência digital. Em vez de confiar em modelos de código aberto, a Adobe decidiu treinar seus próprios modelos básicos de IA generativa, personalizados para casos de uso criativos. A Adobe criou uma supervia de IA na AWS para desenvolver uma plataforma de treinamento de IA e pipelines de dados para iterar modelos rapidamente. A Adobe usou o Amazon FSx para armazenamento de arquivos de alto desempenho do Lustre, para acesso rápido aos dados e para garantir que os recursos da GPU nunca fiquem ociosos.

“É fácil pensar que vou criar minha própria nuvem de IA, mas a parceria com a AWS nos permite focar em nossos diferenciais”

Alexandru Costin - vice-presidente de IA generativa e sensei na Adobe

O LG AI Research, centro de pesquisa de inteligência artificial (IA) do conglomerado sul-coreano LG Group, foi fundado para promover a IA como parte de sua estratégia de transformação digital para impulsionar o crescimento futuro. O instituto de pesquisa desenvolveu seu modelo básico de motor EXAONE em um ano usando o Amazon SageMaker e o Amazon FSx for Lustre. O modelo básico imita os humanos enquanto eles pensam, aprendem e agem por conta própria por meio de treinamento de dados em grande escala. O modelo básico multiuso pode ser empregado em vários setores para realizar uma variedade de tarefas.

A Paige, fornecedora líder de patologia digital, buscou aprimorar seus modelos de IA e ML para diagnóstico de câncer, mas enfrentou limitações com soluções locais. Para superar isso, Paige adotou as instâncias P4d do Amazon EC2 e o Amazon FSx for Lustre, integrando o último aos buckets do Amazon S3 para um tratamento eficiente de petabytes de dados de entrada de ML. Essa infraestrutura da AWS permitiu que Paige processasse dados sem pré-configuração manual em sistemas de arquivos de alto desempenho. Como resultado, Paige alcançou um aumento de dez vezes na capacidade de treinamento de dados e fluxos de trabalho internos 72% mais rápidos.

“Ao conectar o Amazon FSx for Lustre ao Amazon S3, podemos treinar com 10 vezes a quantidade de dados que já testamos na infraestrutura local sem nenhum problema. “

Alexander van Eck, engenheiro de IA da equipe da Paige

O Toyota Research Institute (TRI) coleta e processa grandes quantidades de dados de sensores por meio dos test drives de veículos autônomos (AV). Cada conjunto de dados de treinamento é armazenado em um dispositivo NAS local e transferido para o Amazon Simple Storage Service (Amazon S3) antes de ser processado em um poderoso cluster de computação de GPU. O TRI precisava de um sistema de arquivos de alta performance para combinar com seus recursos computacionais, acelerar o treinamento de modelos de ML e acelerar os insights de seus cientistas de dados. O Toyota Research Institute escolheu o FSx para Lustre para reduzir os tempos de treinamento de machine learning de reconhecimento de objetos.

“Precisávamos de um sistema de arquivos paralelo para nossos conjuntos de dados de treinamento de ML e escolhemos o Amazon FSx for Lustre por sua maior disponibilidade e durabilidade, em comparação com nossa oferta de sistema de arquivos antigo. A integração com os serviços da AWS, incluindo o S3, também o tornou a opção preferida para nosso armazenamento de arquivos de alto desempenho. “

David Fluck, engenheiro de software do Toyota Research Institute

A Shell oferece um portfólio dinâmico de opções de energia — de petróleo, gás e petroquímica até energia eólica, solar e hidrogênio — a Shell se orgulha de fornecer a energia que seus clientes precisam para alimentar suas vidas. A Shell depende da HPC para criação, teste e validação de modelos. De 2020 a 2022, a média de utilização da GPU havia sido inferior a 90%, resultando em atrasos em projetos e limitações na experimentação de novos algoritmos. A Shell aumenta sua capacidade de computação local migrando para a nuvem com clusters do Amazon EC2 e Amazon FSx for Lustre. Essa solução dá à Shell a capacidade de aumentar e reduzir a escala verticalmente com rapidez e de apenas comprar capacidade computacional adicional quando necessário. As GPUs da Shell agora são totalmente aproveitadas, reduzindo o custo da computação e acelerando os testes de modelos de machine learning.

A Netflix usa treinamento distribuído em grande escala para modelos de ML de mídia, miniaturas de pós-produção, efeitos visuais e geração de trailers para milhares de vídeos e milhões de clipes. A Netflix estava enfrentando longas esperas devido à replicação entre nós e ao tempo ocioso de 40% das GPUs.

A Netflix reformulou seu pipeline de carregamento de dados e melhorou sua eficiência pré-computando todos os clipes de vídeo/áudio. O desempenho do Amazon FSx para Lustre permite que a Netflix sature as GPUs e praticamente elimine o tempo ocioso delas. Agora, a Netflix desfruta de uma melhoria de 3 a 4 vezes usando a pré-computação e o FSx para Lustre, reduzindo assim o tempo de treinamento de modelos de uma semana para 1 ou 2 dias.

Assista ao vídeo da Netflix

A produção da quarta temporada da série dramática “The Crown" se deparou com desafios inesperados, pois o mundo entrou em lockdown por causa da pandemia da COVID-19 exatamente quando o trabalho pós-produção de efeitos visuais estava previsto para começar. Ao adotar um fluxo de trabalho baseado em nuvem na AWS, incluindo o servidor de arquivos Amazon FSx Lustre para maior produtividade, a equipe interna de efeitos visuais da Netflix de 10 artistas conseguiu concluir perfeitamente mais de 600 imagens de efeitos visuais para a exibição de 10 episódios da temporada em apenas 8 meses, tudo isso trabalhando remotamente.

A Storengy, uma subsidiária do Grupo ENGIE, é líder em fornecimento de gás natural. A empresa oferece armazenamento de gás, soluções geotérmicas, produção de energia livre de carbono e tecnologias de armazenamento para empresas em todo o mundo.

Para garantir que seus produtos sejam armazenados adequadamente, a Storengy usa simuladores de alta tecnologia para avaliar o armazenamento subterrâneo de gás, um processo que exige o uso extensivo de workloads de computação de alta performance (HPC). A empresa também usa a tecnologia de HPC para executar trabalhos de descoberta e exploração de gás natural.

“Graças à AWS, temos a escalabilidade e a alta disponibilidade para realizar centenas de simulações ao mesmo tempo. Além disso, a solução aumenta ou diminui automaticamente para suportar nossos períodos de pico de carga de trabalho, o que significa que não temos surpresas com nosso ambiente de HPC. “

Jean-Frederic Thebault, engenheiro da Storengy

A Smartronix utiliza o FSx para Lustre para oferecer alta performance confiável para suas implantações de redes SAS.

A Smartronix fornece soluções em nuvem, segurança cibernética, integração de sistemas, C5ISR e análise de dados mundiais e engenharia focada na missão para muitas das principais organizações comerciais e federais do mundo. A Smartronix confiou no SAS Grid para analisar e fornecer estatísticas diárias de COVID em todo o estado e achava que seu sistema de arquivos paralelo autogerenciado era difícil de administrar e proteger.

“Colaborar com a AWS e aproveitar suas soluções gerenciadas, como o FSx for Lustre, nos permitiu atender melhor nossos clientes — com maior disponibilidade e custo 29% menor do que os sistemas de arquivos autogerenciados. “

Rob Mounier, arquiteto de soluções sênior da Smartronix

A Hyundai Motor Company, fabricante automotiva global que exporta para mais de 200 países, usa segmentação semântica para direção autônoma para classificar pixels de imagem em categorias como estradas, pessoas e edifícios.

Para melhorar a precisão do modelo e cumprir os prazos, a Hyundai implementou o Amazon SageMaker para treinamento automatizado e paralelismo de dados em várias GPUs, junto com o Amazon FSx for Lustre e o S3 para armazenamento e processamento eficientes de dados. Essas soluções ajudaram a Hyundai a alcançar 93% de eficiência de escalabilidade com 64 GPUs, eliminando os tempos de espera de dados.

O Amazon FSx for Lustre desempenhou um papel crucial na transformação da Rivian na nuvem, fornecendo o rápido acesso ao armazenamento compartilhado necessário para suas cargas de trabalho de engenharia e design auxiliadas por computador. Usando o FSx for Lustre como parte de sua solução da AWS, a Rivian melhorou drasticamente suas métricas de desempenho, incluindo um aumento de 66% na velocidade de interação do gerenciamento do ciclo de vida do produto e reduzindo o tempo de sincronização de backup de um dia para menos de uma hora.

O serviço de armazenamento totalmente gerenciado foi implementado junto com outros serviços da AWS, como Amazon EC2 e Auto Scaling, ajudando a Rivian a superar suas limitações de infraestrutura local e alcançar recursos de computação escaláveis e de alto desempenho em apenas três semanas, em comparação com o cronograma esperado de seis meses.

A Denso desenvolve sensores de imagem para sistemas avançados de assistência ao motorista (ADAS), que ajudam os motoristas em funções como estacionar e mudar de faixa. Para desenvolver os modelos de ML necessários para o reconhecimento de imagens ADAS, a DENSO criou clusters de GPU em seu ambiente local. No entanto, vários engenheiros de ML compartilhavam recursos limitados de GPU, o que afetava a produtividade, especialmente durante o período movimentado antes do lançamento de um novo produto.

Ao adotar o Amazon SageMaker e o Amazon FSx for Lustre, a Denso conseguiu acelerar a criação de modelos de reconhecimento de imagem ADAS reduzindo o tempo de aquisição de dados, desenvolvimento de modelos, aprendizado e avaliação.

“A prática de mudar para a nuvem continuará se acelerando no campo da inteligência artificial e do aprendizado de máquina. Tenho certeza de que a AWS continuará nos dando suporte à medida que continuarmos a acrescentar funções.”

Kensuke Yokoi, gerente geral da DENSO

A T-Mobile transformou sua infraestrutura SAS Grid implementando o Amazon FSx for Lustre para resolver problemas de desempenho e alta sobrecarga de gerenciamento com seu sistema autogerenciado.

A implantação do FSx for Lustre, junto com sua integração com o Amazon S3, permitiu à T-Mobile dobrar suas velocidades de carga de trabalho do SAS Grid e, ao mesmo tempo, obter uma economia anual de 1,5 milhão de dólares e uma redução de 83% no custo total de propriedade.

A solução eliminou os encargos operacionais e permitiu que a T-Mobile se concentrasse em seu negócio principal de desenvolver produtos inovadores para clientes e, ao mesmo tempo, aproveitar os recursos avançados de armazenamento da AWS.

A Maxar Technologies, uma parceira confiável e inovadora em inteligência terrestre e infraestrutura espacial, precisava fornecer previsões meteorológicas mais rapidamente em comparação com seu supercomputador local. A Maxar trabalhou com a AWS para criar uma solução de HPC com as principais tecnologias, incluindo o AMAZON EC2 para recursos computacionais seguros e altamente confiáveis, o Amazon FSx for Lustre para acelerar a taxa de transferência de leitura/gravação de seu aplicativo e o AWS ParallelCluster para criar rapidamente ambientes de computação de HPC na AWS.

“A Maxar usou o Amazon FSx for Lustre em nossa solução AWS HPC para executar o modelo numérico de previsão do tempo da NOAA. Isso permitiu que reduzíssemos o tempo de computação em 58%, gerando a previsão em cerca de 45 minutos por um preço com custo-beneficio muito melhor. Maximizar nossos recursos computacionais da AWS foi um incrível aumento de desempenho para nós. “

Dr. Stefan Cecelski, cientista e engenheiro sênior de dados da Maxar Technologies

O processamento de dados de ressonância magnética (MRI) usando sistemas de arquivos em nuvem DIY padrão exigia muitos recursos e tempo. A BlackThorn precisava de uma solução de armazenamento de arquivos compartilhado e com uso intensivo de computação que ajudasse a simplificar seus fluxos de trabalho de ciência de dados e machine learning. O Amazon FSx for Lustre é integrado ao Amazon S3 e ao Amazon SageMaker, fornecendo processamento rápido para seus conjuntos de dados de treinamento de ML, bem como acesso contínuo à computação usando instâncias do Amazon EC2.

“O FSx for Lustre nos permitiu criar um pipeline de processamento de dados de ressonância magnética de alto desempenho. O tempo de processamento de dados para nossos fluxos de trabalho baseados em ML foi reduzido para minutos em comparação com dias e semanas. “

Oscar Rodriguez, diretor sênior de inovação e tecnologia da BlackThorn Therapeutics

A Qubole estava buscando uma solução de armazenamento de alto desempenho para processar cargas de trabalho analíticas e de IA/ML para seus clientes. Eles precisavam armazenar e processar facilmente os dados intermediários mantidos em sua frota spot do EC2. A Qubole usou o Amazon FSx for Lustre para armazenar e processar dados intermediários por meio de seu sistema de arquivos paralelo de alta velocidade.

“Os dois maiores problemas de nossos usuários, altos custos e perda intermediária de dados, resultaram do uso de instâncias inativas do EC2 e instâncias spot do EC2 para processar e armazenar dados intermediários gerados por estruturas de processamento distribuído, como Hive e Spark. Conseguimos solucionar esse problema usando o Amazon FSx para Lustre, um sistema de arquivos de alta performance, para transferir dados intermediários. Agora, nossos usuários não precisam pagar para manter instâncias ociosas e não são afetados pelos nós spot do EC2 interrompidos. O Amazon FSx ajudou nossos usuários a reduzir os custos totais em 30%. “

Joydeep Sen Sarma, CTO da Qubole