...
AWS는 자체 서비스 데이터 액세스를 통해 잘 관리 된 데이터 레이크를 빠르고 쉽게 구축하는 데 필요한 모든 것을 제공하는 통합 서비스 제품군을 제공합니다.
이 강의에서 Amazon Athena 및 Amazon EMR의 총 책임자 인 Rahul Pathak은 우리가보고있는 주요 트렌드 중 일부에 대해 이야기하고 AWS가 제공하는 서비스를 어떻게 구성하는지 설명합니다.
특정 트렌드에는 머신 생성 데이터 및 반 구조화/구조화 되지 않은 데이터가 새로운 데이터의 주요 소스로 부상하고 서버리스, SPI 중심 컴퓨팅으로의 이동, 전 세계 사용자의 데이터에 대한 로컬 액세스 필요성의 증가가 포함됩니다.
Keynote with Andy Jassy (S3 - Data Lake)
S3에서 공유 데이터 세트에 대한 액세스를 쉽게 관리
고객은 분석, 머신 러닝, 실시간 모니터링 또는 기타 데이터 레이크 유스 케이스 등 다양한 애플리케이션, 팀 및 개인이 데이터를 집계하고 액세스하는 공유 데이터 세트를 저장하기 위해 Amazon S3를 점점 더 많이 사용하고 있습니다.
이 공유 버킷에 대한 액세스를 관리하려면 권한 수준이 다른 수십에서 수백 개의 애플리케이션에 대한 액세스를 제어하는 단일 버킷 정책이 필요합니다.
애플리케이션 세트가 커짐에 따라 버킷 정책이 더욱 복잡해지고 관리하는 데 시간이 걸리며 변경 사항이 다른 애플리케이션에 예기치 않은 영향을 미치지 않도록 감사해야 합니다.
S3의 기능인 Amazon S3 액세스 포인트는 S3의 공유 데이터 세트를 사용하여 애플리케이션에 대한 규모의 데이터 액세스 관리를 단순화 합니다.
액세스 포인트는 고객이 액세스 포인트를 통한 요청에 대해 고유 한 권한 및 네트워크 제어를 시행하기 위해 생성하는 고유한 호스트 이름입니다.
데이터 레이크, 미디어 아카이브 및 사용자 생성 컨텐츠를 포함한 공유 데이터 세트를 보유한 고객은 각 애플리케이션에 대해 사용자 정의 된 이름 및 권한으로 개별 액세스 포인트를 작성하여 수백 개의 애플리케이션에 대한 액세스를 쉽게 확장 할 수 있습니다.
모든 액세스 포인트는 VPC(Virtual Private Cloud)로 제한되어 고객의 프라이빗 네트워크 내에서 S3 데이터 액세스를 방화벽화할 수 있으며 AWS 서비스 제어 정책을 사용하여 모든 액세스 포인트가 VPC로 제한되도록 할 수 있습니다.
S3 액세스 포인트는 이제 추가 비용 없이 모든 지역에서 사용할 수 있습니다.
AWS가 제공하는 다양한 분석 서비스들
...
Lake Formation
AWS re:Invent 2019: [REPEAT 1] Data lakes and data integration with AWS Lake Formation (ANT218-R1)
...