...

AWS는 자체 서비스 데이터 액세스를 통해 잘 관리 된 데이터 레이크를 빠르고 쉽게 구축하는 데 필요한 모든 것을 제공하는 통합 서비스 제품군을 제공합니다.
이 강의에서 Amazon Athena 및 Amazon EMR의 총 책임자 인 Rahul Pathak은 우리가보고있는 주요 트렌드 중 일부에 대해 이야기하고 AWS가 제공하는 서비스를 어떻게 구성하는지 설명합니다.
특정 트렌드에는 머신 생성 데이터 및 반 구조화/구조화 되지 않은 데이터가 새로운 데이터의 주요 소스로 부상하고 서버리스, SPI 중심 컴퓨팅으로의 이동, 전 세계 사용자의 데이터에 대한 로컬 액세스 필요성의 증가가 포함됩니다.

...

Lake Formation

AWS re:Invent 2019: [REPEAT 1]

...

Data lakes and data integration with AWS Lake Formation (ANT218-R1)

오늘날의 비즈니스는 가능한 한 빨리 고객 기회와 문제에 대응해야합니다. 이 세션에서는 비즈니스 운영보고를위한 분석 파이프 라인을 구축하여 몇 시간에서 몇 초까지 정보를 빠르게 제공하는 방법을 살펴 봅니다. Amazon Kinesis와 같은 스트리밍 데이터 서비스를 사용하여 Amazon Redshift 데이터웨어 하우스 및 Amazon Aurora보고 데이터베이스에 데이터를 전송하기 전에 실시간으로 데이터를 캡처하고 분석하는 방법에 대해 논의합니다. 고객 GoDaddy는이 아키텍처 패턴을 사용하여 플랫폼에서 웹 사이트를 호스팅하는 수백만 고객에게 최고의 경험을 제공하는 방법을 공유합니다.

...

번거로움 없이 데이터 레이크를 구축하고 보호하고 싶습니까?
AWS Lake Formation과 AWS Glue가 데이터 수집, 암호화, 카탈로그, 변환 및 프로비저닝 단계를 통합하고 단순화하는 방법을 알아보십시오.
세분화 된 액세스 제어 정책 및 감사 로깅을 시행하면서 다른 분석 서비스 및 사용자가 데이터에 쉽게 액세스 할 수 있도록하는 방법을 이해합니다.
AWS 고객이 비즈니스를 위해 Lake Formation 및 AWS Glue를 구현 한 방법에 대해 들어보십시오.
NU SKIN이 최근 AWS로 올인 마이그레이션을 완료하고 AWS Lake Formation을 활용하여 데이터 레이크를 관리 한 방법을 들어보십시오.

Kinesis

AWS re:Invent 2019:

...

[REPEAT 1] Building a streaming data platform with Amazon Kinesis (ANT326-R1)

오늘날의 비즈니스는 가능한 한 빨리 고객 기회와 문제에 대응해야합니다. 이 세션에서는 비즈니스 운영보고를위한 분석 파이프 라인을 구축하여 몇 시간에서 몇 초까지 정보를 빠르게 제공하는 방법을 살펴 봅니다. Amazon Kinesis와 같은 스트리밍 데이터 서비스를 사용하여 Amazon Redshift 데이터웨어 하우스 및 Amazon Aurora보고 데이터베이스에 데이터를 전송하기 전에 실시간으로 데이터를 캡처하고 분석하는 방법에 대해 논의합니다. 고객 GoDaddy는이 아키텍처 패턴을 사용하여 플랫폼에서 웹 사이트를 호스팅하는 수백만 고객에게 최고의 경험을 제공하는 방법을 공유합니다.

Glue

AWS re:Invent 2019: Upgrading AWS Glue to use AWS Lake Formation permissions (ANT281-P)

Lake Formation 권한을 사용하도록 업그레이드하는 방법을 배웁니다.
IAM 정책을 사용하여 AWS Glue 데이터 카탈로그에서 FGAC (Fine-Lake Formation 권한을 사용하도록 업그레이드하는 방법을 배웁니다.
IAM 정책을 사용하여 AWS Glue 데이터 카탈로그에서 FGAC (Fine-Grained Access Control)가 있는 간단한 데이터 레이크부터 시작합니다.
그런 다음 Lake Formation 권한을 사용하도록 업그레이드합니다.

...

기업은 데이터 스트리밍 아키텍처를 활용하여 고객의 요구에 실시간으로 대응합니다.
이 세션에서는 Amazon MSK를 사용하여 실시간 애플리케이션 개발을 가속화 할 수있는 방법에 대해 설명합니다.
Adobe는 우리와 함께 Apache Kafka를 사용하여 수백 가지 서비스에 대해 매일 600 억 개가 넘는 메시지를 처리하는 방법을 공유합니다.
Adobe가 직면 한 과제와 한 번의 클릭으로 수십 개의 Kafka 클러스터 관리에서 완전히 관리되는 Amazon MSK 클러스터 배포로 이동하는 이유에 대해 알아 봅니다.
이 접근 방식이 메시지 라우팅, 고급 QoS 및 HTTP 클라이언트를 처리하면서 Kubernetes, Spinnaker 및 Terraform과 같은 오픈 소스 프레임 워크에 구축 된 여러 솔루션을 통합하는 방법을 들어보십시오.

EMR

AWS re:Invent 2019: Insert, upsert, and delete data in Amazon S3 using Amazon EMR (ANT239)

Amazon S3에서 데이터 레이크를 구축하면 오픈 소스 데이터 형식에 대한 확장 성과 안정성을 제공하며 빅 데이터 분석 및 ML/AI 뿐만 아니라 보고 및 BI 모두에 대한 공통 데이터 저장소가 제공됩니다.
그러나 가장 일반적으로 사용되는 빅 데이터 프레임워크는 고객이 개별 레코드의 증분 변경을 처리하기 위해 대량의 데이터를 복원하도록 합니다.
Apache Hudi는 레코드를 작성, 업 세션 및 삭제하는 기능을 제공하며 변경 데이터 캡처 처리 및 실시간 스트림 처리를 단순화합니다.
이 세션에서는 Amazon EMR과 함께 Apache Hudi를 사용하고 기본 개념, 일반적인 시나리오 및 Hudi를 사용하여 워크 플로를 최적화하는 방법을 심층적으로 살펴 봅니다.

...

배포로 이동하는 이유에 대해 알아 봅니다.
이 접근 방식이 메시지 라우팅, 고급 QoS 및 HTTP 클라이언트를 처리하면서 Kubernetes, Spinnaker 및 Terraform과 같은 오픈 소스 프레임 워크에 구축 된 여러 솔루션을 통합하는 방법을 들어보십시오.

EMR

AWS re:Invent 2019: Insert, upsert, and delete data in Amazon S3 using Amazon EMR (ANT239)

Amazon S3에서 데이터 레이크를 구축하면 오픈 소스 데이터 형식에 대한 확장 성과 안정성을 제공하며 빅 데이터 분석 및 ML/AI 뿐만 아니라 보고 및 BI 모두에 대한 공통 데이터 저장소가 제공됩니다.
그러나 가장 일반적으로 사용되는 빅 데이터 프레임워크는 고객이 개별 레코드의 증분 변경을 처리하기 위해 대량의 데이터를 복원하도록 합니다.
Apache Hudi는 레코드를 작성, 업 세션 및 삭제하는 기능을 제공하며 변경 데이터 캡처 처리 및 실시간 스트림 처리를 단순화합니다.
이 세션에서는 Amazon EMR과 함께 Apache Hudi를 사용하고 기본 개념, 일반적인 시나리오 및 Hudi를 사용하여 워크 플로를 최적화하는 방법을 심층적으로 살펴 봅니다.

AWS re:Invent 2019: Migrating Apache Spark and Hive from on-premises to Amazon EMR (ANT327-R1)

이 세션에서는 Intuit 담당자가 Apache Hive 및 Spark에서 실행되는 회사의 분석, 데이터 처리 (ETL) 및 데이터 과학 워크로드를 Amazon EMR로 마이그레이션하여 비용을 줄이고 가용성을 높이고 성능을 개선하는 방법에 대해 들었습니다.
이 세션에서는 주요 동기와 클라우드로의 전환의 이점에 중점을두고 주요 아키텍처 변경 및 모범 사례에 대한 세부 정보를 제공합니다.

Amazon Elasticsearch Service

AWS re:Invent 2019: Simplifying and modernizing home search at Compass with Amazon ES (ANT207-R1)

이 세션에서는 Intuit 담당자가 Apache Hive 및 Spark에서 실행되는 회사의 분석, 데이터 처리 (ETL) 및 데이터 과학 워크로드를 Amazon EMR로 마이그레이션하여 비용을 줄이고 가용성을 높이고 성능을 개선하는 방법에 대해 들었습니다.
이 세션에서는 주요 동기와 클라우드로의 전환의 이점에 중점을두고 주요 아키텍처 변경 및 모범 사례에 대한 세부 정보를 제공합니다.

...

Compass는 업계 최고의 소프트웨어를 활용하여 부동산 전문가가 주택을 찾고, 마케팅하고, 판매하는 데 도움이되는 검색 및 분석 도구를 구축함으로써 Real Estate를 변화시키고 있습니다.
이 세션에서 Compass 엔지니어는 회사 카탈로그의 모든 주택 (목록)을 소비자 및 Compass Real Estate 전문가가 검색 할 수있게 만드는 방법에 대해 논의합니다.
또한 검색 인프라를 확장한 방법과 Amazon Elasticsearch Service (Amazon ES)를 포함한 다른 AWS 구성 요소를 활용하여 완벽하고 확장 가능한 홈 검색 솔루션을 제공하는 방법에 대해서도 설명합니다.

AWS Data Exchange

AWS re:Invent 2019

...

: AWS Data Exchange: Find & subscribe to third-party data in the cloud (ANT238-R)

Compass는 업계 최고의 소프트웨어를 활용하여 부동산 전문가가 주택을 찾고, 마케팅하고, 판매하는 데 도움이되는 검색 및 분석 도구를 구축함으로써 Real Estate를 변화시키고 있습니다.
이 세션에서 Compass 엔지니어는 회사 카탈로그의 모든 주택 (목록)을 소비자 및 Compass Real Estate 전문가가 검색 할 수있게 만드는 방법에 대해 논의합니다.
또한 검색 인프라를 확장한 방법과 Amazon Elasticsearch Service (Amazon ES)를 포함한 다른 AWS 구성 요소를 활용하여 완벽하고 확장 가능한 홈 검색 솔루션을 제공하는 방법에 대해서도 설명합니다.

...

AWS Data Exchange를 사용하면 클라우드에서 타사 데이터를 쉽게 찾고 구독하고 사용할 수 있습니다.
이 세션에서는 AWS Data Exchange가 데이터 세트의 찾기, 라이센스 및 사용에 따른 마찰을 제거하는 방법을 살펴 봅니다.
데이터가 없으면 데이터를 라이센싱하고 분석을 강화하기 위해 필요한 곳으로 옮길 수 있습니다.
AWS Data Exchange를 사용하여 Amazon Athena 및 Amazon QuickSight와 같은 AWS 서비스로 내부 분석을 강화하는 방법을 배웁니다.
데이터 제공 업체의 경우 데이터 스토리지, 전송, 청구 및 적용을위한 인프라를 구축하고 유지 관리 할 필요가 없어져 AWS Data Exchange가 클라우드로 마이그레이션하는 수백만 고객에게 어떻게 쉽게 접근 할 수 있는지 알아보십시오.

AWS re:Invent 2019:

...

Easily find & subscribe to third-party data in the cloud (ANT238-

...

R1)

AWS Data Exchange를 사용하면 클라우드에서 타사 데이터를 쉽게 찾고 구독하고 사용할 수 있습니다.
이 세션에서는 AWS Data Exchange가 데이터 세트의 찾기, 라이센스 및 사용에 따른 마찰을 제거하는 방법을 살펴 봅니다.
데이터가 없으면 데이터를 라이센싱하고 라이센스하고 분석을 강화하기 위해 필요한 곳으로 옮길 수 있습니다.
AWS Data Exchange를 사용하여 Amazon Athena 및 Amazon QuickSight와 같은 AWS 서비스로 내부 분석을 강화하는 방법을 배웁니다.
데이터 제공 업체의 경우 데이터 스토리지, 전송, 청구 및 적용을위한 인프라를 구축하고 유지 관리 할 필요가 없어져 AWS Data Exchange가
클라우드로 마이그레이션하는 수백만 고객에게 어떻게 쉽게 접근 할 수 있는지 알아보십시오.

...

AWS re:Invent 2019: [REPEAT 2] How to scale data analytics with Amazon Redshift (ANT335-R2)

AWS Events

26

58:36

AWS re:Invent 2019: [REPEAT 1] Data lakes and data integration with AWS Lake Formation (ANT218-R1)

AWS Events

27

51:57

AWS re:Invent 2019: Easily find & subscribe to third-party data in the cloud (ANT238-R1)

AWS Events

28

57:14

AWS re:Invent 2019: [REPEAT 1] What’s new with Amazon Redshift, featuring Yelp (ANT320-R1)

...