메인 콘텐츠로 건너뛰기

Amazon Managed Workflows for Apache Airflow

차세대 Amazon SageMaker에서 Amazon Managed Workflows for Apache Airflow를 사용할 수 있습니다.

Amazon Managed Workflows for Apache Airflow(MWAA)

관리형 Apache Airflow를 통해 안전하고 대규모로 워크플로 오케스트레이션을 간소화합니다.

Amazon MWAA 시작하기

Amazon MWAA를 사용해야 하는 이유는 무엇인가요?

Apache Airflow (MWAA) 용 Amazon 관리형 워크플로우를 사용하면 업계 표준 Apache Airflow 플랫폼을 사용하여 데이터 파이프라인과 워크플로를 조정할 수 있습니다. 서버리스 또는 프로비저닝된 배포 옵션 중에서 선택하여 인프라를 관리하지 않고도 엔터프라이즈급 확장성, 가용성 및 보안을 누릴 수 있습니다.

차세대 아마존 세이지메이커에서 아마존 MWAA에 액세스할 수 있습니다

차세대 Amazon SageMaker의 Amazon MWAA를 사용하면 운영 부담 없이 Apache Airflow를 원활하게 배포하고 확장할 수 있습니다. Amazon SageMaker의 MWAA는 자동화된 규모 조정 및 내장된 내결함성을 통해 워크플로가 안정적으로 실행되도록 보장하므로 인프라가 아닌 혁신에 집중할 수 있습니다. 자세히 알아보기.

Missing alt text value

배포 모델 선택

서버리스 워크플로우

Amazon MWAA 서버리스는 YAML 또는 Python 기반 워크플로를 온디맨드 또는 일정에 따라 자동으로 실행하여 인프라 관리 복잡성을 제거합니다. 엔터프라이즈급 고가용성으로 수백 개의 워크플로우로 손쉽게 확장할 수 있습니다. Apache Airflow 구성이 필요하지 않습니다. 사용량 기반 가격 책정 및 내장된 보안 제어를 통해 실제 실행 시간에 대해서만 비용을 지불하면 됩니다.

기존 관리 환경

Amazon MWAA를 사용하면 선호하는 종속성 및 플러그인을 갖춘 사용자 지정 환경을 배포하여 워크플로를 완벽하게 제어할 수 있습니다. 이때 Amazon은 인프라 프로비저닝, 보안 및 확장을 처리합니다.

장점

    Amazon MWAA는 다양한 워크플로 요구 사항을 충족하는 배포 모델을 제공합니다. MWAA 서버리스는 수요에 따라 자동으로 조정되므로 수동 용량 계획을 없애고 비용을 최적화합니다. 프로비저닝된 옵션을 사용하면 공기 흐름 리소스를 세밀하게 제어할 수 있으므로 특정 요구 사항에 맞게 성능을 미세 조정할 수 있습니다. 간편한 자동 규모 조정 또는 정확한 리소스 제어를 선택하세요. Amazon MWAA는 비즈니스에 따라 확장됩니다.

    Amazon MWAA는 요구 사항에 맞게 조정된 포괄적인 보안을 제공합니다. 서버리스는 세분화된 워크플로 수준 제어를 제공하는 반면, Provisioned는 개별 비즈니스 컨텍스트에 대한 환경 수준 경계를 제공합니다. 두 옵션 모두 VPC 격리, 엔드투엔드 암호화, 세분화된 액세스 제어를 비롯한 엔터프라이즈급 보안을 제공하므로 성능 저하 없이 워크플로우를 보호할 수 있습니다.

사용 사례

    여러 AWS 서비스와 외부 데이터 소스에서 복잡한 데이터 변환을 조율합니다. 스트리밍 데이터 파이프라인을 일괄 처리로 조정하면서 데이터 레이크 아키텍처의 데이터 수집, 카탈로그 작성 및 처리 워크플로우를 자동화합니다.

    데이터 준비부터 모델 교육, 검증, 배포에 이르기까지 엔드-투-엔드 ML 워크플로우를 오케스트레이션합니다. 개발 및 프로덕션 환경 전반에서 A/B 테스트를 통해 특징 추출, 변환 워크플로를 자동화하고, 모델 배포를 조정합니다.

    보고서 생성, 데이터 새로 고침 및 대시보드 업데이트를 자동으로 예약하고 조정합니다. 비즈니스 애플리케이션과 분석 플랫폼 간에 데이터를 동기화하는 동시에 자동화된 데이터 검증, 정리 및 품질 보증 워크플로우를 구현합니다.

    인프라 전반에서 백업 워크플로우, 데이터 보관 및 재해 복구 절차를 자동화합니다. 데이터 거버넌스 워크플로, 규정 준수 보고 및 감사 추적 생성을 조율하는 동시에 AWS와 다른 클라우드 공급자 또는 온프레미스 시스템 전반의 워크플로를 조정합니다.

출시 소식

Amazon MWAA, 이제 작업 실행 중단 없이 환경을 업데이트할 수 있는 옵션 제공

이제 Amazon Managed Workflows for Apache Airflow(Amazon MWAA)는 지원되는 Apache Airflow 버전(v2.4.3 이상)에서 실행 중인 작업을 중단하지 않고 환경을 업데이트할 수 있는 옵션을 제공합니다.

공지 읽기

Amazon MWAA, 더 작은 환경 크기 추가

Amazon Managed Workflows for Apache Airflow(MWAA)가 이제 마이크로 환경 크기를 제공함에 따라 관리형 서비스 고객은 저렴한 비용으로 개발 및 데이터 격리를 위한 독립적인 여러 개의 환경을 만들 수 있게 되었습니다.

공지 읽기

이제 Airflow REST API와의 간편한 상호 작용이 지원되는 Amazon MWAA

이제 Amazon Managed Workflows for Apache Airflow(MWAA)에서 AWS 자격 증명을 사용하여 Apache Airflow REST API와 상호 작용을 할 수 있는 간편한 메커니즘이 지원됩니다.

공지 읽기

Amazon Managed Workflows for Apache Airflow에서 Apache Airflow 3.0 지원 발표

Amazon Managed Workflows for Apache Airflow(MWAA)가 워크플로 오케스트레이션 플랫폼의 최신 메이저 릴리스인 Apache Airflow 버전 3.0을 지원합니다. 이번 릴리스를 통해 복잡한 워크플로를 좀 더 효율적이고 제어 가능하게 작성, 예약, 모니터링할 수 있는 기능이 강화되었습니다.

공지 읽기

Amazon MWAA, 이제 마이너 Apache Airflow 버전으로의 다운그레이드 지원

이제 Amazon Managed Workflows for Apache Airflow(Amazon MWAA)에서 Apache Airflow 버전으로 다운그레이드할 수 있습니다.

공지 읽기

블로그 게시물

아마존 MWAA와 코스모스를 사용하여 아마존 레드시프트에서 dbt로 데이터 파이프라인을 구축합니다.

효율적인 데이터 파이프라인을 구축하려면 효과적인 협업과 확장성이 필수적입니다. 그러나 데이터 모델링 팀은 복잡한 ETL (추출, 변환, 로드) 도구를 사용하는 데 어려움을 겪는 경우가 많으므로 프로그래밍 전문 지식과 인프라에 대한 심층적인 이해가 필요합니다.

블로그 읽기

LaunchDarkly가 효율성과 규모를 달성하기 위해 Amazon MWAA로 마이그레이션한 방법

LaunchDarkly 기능 관리 플랫폼은 소프트웨어 팀이 잘못된 소프트웨어 및 AI 애플리케이션의 배송 위험을 사전에 줄이는 동시에 릴리스 속도를 가속화할 수 있도록 지원합니다.

블로그 읽기

Flutter UKI가 아파치 에어플로우를 위한 AWS 관리형 워크플로를 사용하여 데이터 파이프라인을 최적화하는 방법

플러터 엔터테인먼트의 사업부인 Flutter UKI는 스포츠 베팅 및 게임 산업의 최전선에 서 있습니다. Flutter UKI는 스포츠 베팅, 카지노 게임, 빙고 및 포커 경험을 포함하는 다양한 엔터테인먼트 옵션 포트폴리오를 제공합니다.

블로그 읽기

아마존 MWAA의 비용 및 성능 최적화

Apache Airflow용 Amazon 관리형 워크플로 (Amazon MWAA) 는 데이터 파이프라인과 워크플로를 대규모로 오케스트레이션할 수 있게 해주는 Apache Airflow용 관리형 서비스입니다.

블로그 읽기

기존 OpenID Connect 싱글 사인온 인증 및 권한 부여를 사용하여 Amazon MWAA 환경에 대한 보안 액세스를 자동화합니다.

고객은 Apache Airflow용 Amazon 관리형 워크플로우 (Amazon MWAA) 를 사용하여 클라우드에서 대규모로 Apache Airflow를 실행합니다. OpenID Connect (OIDC) 공급자를 사용하여 개발한 기존 로그인 솔루션을 Amazon MWAA와 함께 사용하고자 합니다. 이를 통해 AWS 서비스 전반에서 채택한 ID 공급자 (IdP) 를 사용하여 균일한 인증 및 싱글 사인온 (SSO) 환경을 제공할 수 있습니다.

블로그 읽기