...
오늘날의 비즈니스는 가능한 한 빨리 고객 기회와 문제에 대응해야합니다. 이 세션에서는 비즈니스 운영보고를위한 분석 파이프 라인을 구축하여 몇 시간에서 몇 초까지 정보를 빠르게 제공하는 방법을 살펴 봅니다. Amazon Kinesis와 같은 스트리밍 데이터 서비스를 사용하여 Amazon Redshift 데이터웨어 하우스 및 Amazon Aurora보고 데이터베이스에 데이터를 전송하기 전에 실시간으로 데이터를 캡처하고 분석하는 방법에 대해 논의합니다. 고객 GoDaddy는이 아키텍처 패턴을 사용하여 플랫폼에서 웹 사이트를 호스팅하는 수백만 고객에게 최고의 경험을 제공하는 방법을 공유합니다.
Glue
AWS re:Invent 2019:
...
How Zappos uses AWS services for near-real-time search optimization (ANT380-P)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Lake Formation 권한을 사용하도록 업그레이드하는 방법을 배웁니다.
IAM 정책을 사용하여 AWS Glue 데이터 카탈로그에서 FGAC (Fine-Grained Access Control)가 있는 간단한 데이터 레이크부터 시작합니다.
그런 다음 Lake Formation 권한을 사용하도록 업그레이드합니다.
Athena
...
이 세션에서 Zappos가 AWS 분석을 활용하여 엔드 투 엔드 머신 러닝 (ML) 플랫폼을 개발 한 방법을 알아보십시오.
엔진은 Amazon Kinesis Data Firehose, Amazon Redshift 및 AWS Lambda에 크게 의존하는 실시간 이벤트 수집 시스템으로 구성됩니다.
시스템, 시스템 구축 방법 및 다양한 ML 알고리즘에 공급되는 방법에 대해 알아 봅니다.
마지막으로, 실시간 검색 최적화 및 크기 권장 사항을 포함하여 Zappos 웹 사이트에서 다양한 기능을 사용하는 방법을 알아보십시오.
AWS re:Invent 2019: AWS analytics enables fraud prevention for Sony’s PlayStation (ANT331)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Amazon Athena는 표준 SQL을 사용하여 Amazon S3의 데이터를 쉽게 분석 할 수 있는 대화식 쿼리 서비스입니다.
Athena는 서버리스이므로 관리 할 인프라가 없으며 실행 한 쿼리에 대해서만 비용을 지불합니다.
고객이 Athena를 사용하여 데이터 레이크를 쿼리하고 분석가 및 개발자를위한 셀프 서비스를 제공하며 애플리케이션을 구축하는 방법을 알아보십시오.
최신 개선 사항에 대해 자세히 알아보고 데모를 보여줍니다. 새로운 Athena 사용자는 서비스 기능 및 고객 아키텍처 패턴에 대한 이해를 얻습니다.
기존 Athena 사용자는 동시성, 성능 및 보안을 포함하여 최근 개선 된 내용을 이해합니다.
참고: https://dev.classmethod.jp/cloud/aws/reinvent2019-report-amazon-athena-best-practice/
참고: https://www.megazone.com/reinvent-2019-deep-dive-into-amazon-athena/
Redshift
AWS re:Invent 2019: How to build your data analytics stack at scale with Amazon Redshift (ANT335-R)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Sony Interactive Entertainment는 사용자의 거래 활동을 집계 할 수있는 빅 데이터 플랫폼으로 EVE Fraud System을 구축하여 은행의 지불 거절 또는 지불 거절없이 승인이 크게 증가했습니다.
이 세션에서 Sony가 Amazon Kinesis Data Analytics, Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue, Amazon Simple Storage Service (Amazon S3) 및 Amazon DynamoDB를 사용하여 집계를 생성하고 180 밀리 초보다 짧게 단일 구매 트랜잭션에서 검색하는 방법을 알아보십시오
AWS re:Invent 2019: How Prime Video processes 8 percent of all US internet traffic on AWS (ANT348)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Amazon Prime Video는 세계에서 가장 큰 스트리밍 서비스 중 하나이며 미국의 모든 인터넷 트래픽 중 8 % 이상을 매일 제공합니다.
전 세계 200여 개국에 수백만 대의 장치가 있어 원격 측정 데이터를 실시간으로 수집하고 분석하는 것은 주요한 확장 과제입니다.
이 세션에서 팀이 Amazon Kinesis, AWS Lambda 및 Amazon Simple Storage Service (Amazon S3)와 같은 AWS 기술을 사용하여
초당 수백만 건의 트랜잭션(TPS)과 수백 페타 바이트를 처리하는 차세대 원격 측정 플랫폼을 구축 한 방법을 알아보십시오.
...
Glue
AWS re:Invent 2019: Upgrading AWS Glue to use AWS Lake Formation permissions (ANT281-P)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Lake Formation 권한을 사용하도록 업그레이드하는 방법을 배웁니다.
IAM 정책을 사용하여 AWS Glue 데이터 카탈로그에서 FGAC (Fine-Grained Access Control)가 있는 간단한 데이터 레이크부터 시작합니다.
그런 다음 Lake Formation 권한을 사용하도록 업그레이드합니다최신 클라우드 데이터웨어 하우스는 가변 분석 워크로드를 처리하기 위해 필요에 따라 확장 및 확장 할 수 있어야 합니다.
이 세션에서는 모든 사용 사례 또는 워크로드에 대해 예측 가능한 최저 비용으로 최고의 성능을 제공하는 Amazon Redshift의 기능에 대해 설명합니다.
Amazon Redshift가 대량의 쿼리 작업, 복잡한 쿼리가 포함 된 대용량 데이터 세트, 자주 쿼리되는 데이터 및 자주 액세스하지 않는 기록 데이터, Amazon S3 데이터 레이크의 열린 파일 형식 및 Amazon Redshift의 구조화 된 데이터의 혼합으로 소규모 데이터 세트를 처리하는 방법에 대해 알아보십시오.
AWS re:Invent 2019:
...
How Woot.com built a serverless data lake with AWS analytics (ANT333)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
이 세션에서는 모든 사용 사례 또는 워크로드에 대해 예측 가능한 최저 비용으로 최고의 성능을 제공하는 Amazon Redshift의 기능에 대해 설명합니다.
Amazon Redshift가 대량의 쿼리 작업, 복잡한 쿼리가 포함 된 대용량 데이터 세트, 자주 쿼리되는 데이터 및 자주 액세스하지 않는 기록 데이터, Amazon S3 데이터 레이크의 열린 파일 형식 및 Amazon Redshift의 구조화 된 데이터의 혼합으로 소규모 데이터 세트를 처리하는 방법에 대해 알아보십시오.
Woot.com은 레거시 데이터웨어 하우스를 대체하는 데이터 레이크를 설계하고 개발하여 여러 비즈니스 영역에서 강력한 분석 기능을 제공합니다.
이 세션에서 Amazon EMR, Amazon Athena, AWS Glue 및 Amazon QuickSight를 사용하여 즉각적인 분석을 위해 외부 및 내부 소스에서 데이터를 수집하고 중앙 집중화하는 자동화 된 프로세스를 구축 한 방법을 알아보십시오.
...
Athena
AWS re:Invent 2019: [REPEAT 1] Deep dive
...
into Amazon Athena (ANT307-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
이 세션에서는 Amazon Redshift를 사용한 데이터웨어 하우징 모범 사례에 대해 심도있게 살펴 봅니다.
데이터를 이동하지 않고 데이터웨어 하우스 내부 및 외부의 모든 데이터를 분석하는 가장 좋은 방법을 보여 주므로 비즈니스 운영에 대한 심층적인 통찰력을 얻을 수 있습니다.
또한 최적의 스키마를 설계하고 데이터를 효율적으로로드하며 쿼리를 최적화하여 높은 처리량과 성능을 제공하는 방법에 대한 모범 사례를 다룹니다.
AWS re:Invent 2019: [REPEAT] What’s new with Amazon Redshift, featuring Workday (ANT320-R)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Amazon Redshift의 가장 중요하고 인기있는 새로운 기능에 대해 알아보십시오.
이 세션에서는 Amazon Redshift의 아키텍처 발전과 머신 러닝을 사용하여 자체 최적화 데이터웨어 하우스를 만드는 방법에 대해 설명합니다.
또한 가격 대비 성능 비율에 비해 최근의 성능, 동시성, 탄력성 및 관리 효율성 향상을 검토합니다.
마지막으로, 미래의 데이터웨어 하우스에 대한 비전을 엿보고 Workday에서 Amazon Redshift의 최신 기능이 Workday가 최적화 및 확장을 달성하는 데 어떤 도움을 주 었는지에 대해 들어 봅니다.
...
Amazon Athena는 표준 SQL을 사용하여 Amazon S3의 데이터를 쉽게 분석 할 수 있는 대화식 쿼리 서비스입니다.
Athena는 서버리스이므로 관리 할 인프라가 없으며 실행 한 쿼리에 대해서만 비용을 지불합니다.
고객이 Athena를 사용하여 데이터 레이크를 쿼리하고 분석가 및 개발자를위한 셀프 서비스를 제공하며 애플리케이션을 구축하는 방법을 알아보십시오.
최신 개선 사항에 대해 자세히 알아보고 데모를 보여줍니다. 새로운 Athena 사용자는 서비스 기능 및 고객 아키텍처 패턴에 대한 이해를 얻습니다.
기존 Athena 사용자는 동시성, 성능 및 보안을 포함하여 최근 개선 된 내용을 이해합니다.
참고: https://dev.classmethod.jp/cloud/aws/reinvent2019-report-amazon-athena-best-practice/
참고: https://www.megazone.com/reinvent-2019-deep-dive-into-amazon-athena/
...
Redshift
AWS re:Invent 2019: How to build your data analytics stack at scale with Amazon Redshift (ANT335-R)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Amazon.com은 전 세계 최대 규모의 Oracle 데이터웨어 하우스 중 하나에서 실행되는 수 십만 개의 일일 작업 인 엔터프라이즈 데이터웨어하우스를
2 년 이내에 확장 가능한 AWS 기반 데이터 레이크로 마이그레이션했습니다.
이 세션에서는 Amazon.com의 데이터 레이크 아키텍처와 Amazon Redshift 및 Amazon EMR을 어떻게 활용했는지 살펴 봅니다.
또한 모든 레거시 작업을 새 시스템으로 마이그레이션하는 데 사용되는 주요 전략을 검토하고 마이그레이션 후 시스템을 처음 실행 한 첫 해 부터 얻은 교훈을 포함합니다.
...
최신 클라우드 데이터웨어 하우스는 가변 분석 워크로드를 처리하기 위해 필요에 따라 확장 및 확장 할 수 있어야 합니다.
이 세션에서는 모든 사용 사례 또는 워크로드에 대해 예측 가능한 최저 비용으로 최고의 성능을 제공하는 Amazon Redshift의 기능에 대해 설명합니다.
Amazon Redshift가 대량의 쿼리 작업, 복잡한 쿼리가 포함 된 대용량 데이터 세트, 자주 쿼리되는 데이터 및 자주 액세스하지 않는 기록 데이터, Amazon S3 데이터 레이크의 열린 파일 형식 및 Amazon Redshift의 구조화 된 데이터의 혼합으로 소규모 데이터 세트를 처리하는 방법에 대해 알아보십시오.
AWS re:Invent 2019: [REPEAT 2] How to scale data analytics with Amazon Redshift (ANT335-R2)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
최신 클라우드 데이터웨어 하우스는 다양한 분석 워크로드를 처리 할 수 있도록 확장 및 확장할 확장 할 수 있어야 합니다있어야합니다.
이 세션에서는 모든 사용 사례 또는 워크로드에 대해 예측 가능한 최저 비용으로 최고의 성능을 제공하는 Amazon Redshift의 기능에 대해 설명합니다.
Amazon Redshift가 대량의 쿼리 작업, 복잡한 쿼리가 포함 된 대용량 데이터 세트, 자주 쿼리되는 데이터 및 자주 액세스하지 않는 기록 데이터,
Amazon S3 데이터 레이크의 열린 파일 형식 및 Amazon Redshift의 구조화 된 데이터의 혼합으로 소규모 데이터 세트를 처리하는 방법에 대해 알아보십시오.그리고 Warner Brothers는 Amazon Redshift를 통해 분석 성능이 어떻게 향상되었는지에 대해 설명합니다.
...
AWS re:Invent 2019: Deep dive and best practices for Amazon Redshift (ANT418)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
최첨단 클라우드 데이터웨어 하우스는 수천 명의 동시 사용자를 지원하면서 가장 저렴하고 예측 가능한 비용으로 최고의 성능을 제공해야 합니다.
또한 미래의 분석 워크로드에 필요한 민첩성을 달성하려면 데이터 레이크에 완벽하게 통합하고 분석 스택에서 최고 수준의 시민이 되어야 합니다.
Amazon Redshift는 오늘날 이것을 수행합니다. 이 세션에서는 Amazon Redshift가 스토리지를 확장하고 10 배 향상된 가격 대비 성능 비율로 계산하는 방법에 대해 설명합니다.
Amazon Redshift로 확장하여 Comcast가 성능을 개선 한 방법과 Amazon Redshift를 사용한 데이터웨어하우징이 모든 데이터를 분석하여 보다 심층적인 통찰력과 더 나은 결과를 제공하는 데 어떻게 도움이 되는지 알아보십시오.
AWS re:Invent 2019: State-of-the-art cloud data warehousing, featuring Asurion (ANT213-R1)
이 세션에서는 Amazon Redshift를 사용한 데이터웨어 하우징 모범 사례에 대해 심도있게 살펴 봅니다.
데이터를 이동하지 않고 데이터웨어 하우스 내부 및 외부의 모든 데이터를 분석하는 가장 좋은 방법을 보여 주므로 비즈니스 운영에 대한 심층적인 통찰력을 얻을 수 있습니다.
또한 최적의 스키마를 설계하고 데이터를 효율적으로로드하며 쿼리를 최적화하여 높은 처리량과 성능을 제공하는 방법에 대한 모범 사례를 다룹니다.
AWS re:Invent 2019: [REPEAT] What’s new with Amazon Redshift, featuring Workday (ANT320-R)
| 위젯 커넥터widget | ||||||
|---|---|---|---|---|---|---|
|
최첨단 클라우드 데이터웨어 하우스는 수천 명의 동시 사용자를 지원하면서 가장 저렴하고 예측 가능한 비용으로 최고의 성능을 제공해야 합니다.
또한 미래의 분석 워크로드에 필요한 민첩성을 달성하려면 데이터 레이크에 완벽하게 통합하고 분석 스택에서 최고 수준의 시민이 되어야합니다.
Amazon Redshift는 오늘 이것을 수행합니다. 이 세션에서는 Amazon Redshift가 스토리지를 확장하고 10 배 향상된 가격 대비 성능 비율로 계산하는 방법에 대해 설명합니다. Amazon Redshift로 확장하여 Asurion이 성능을 개선 한 방법과 Amazon Redshift를 사용한 데이터웨어하우징이 모든 데이터를 분석하여 보다 심층적인 통찰력과 더 나은 결과를 제공하는 데 어떻게 도움이 되는지 알아보십시오.
Amazon Redshift의 가장 중요하고 인기있는 새로운 기능에 대해 알아보십시오.
이 세션에서는 Amazon Redshift의 아키텍처 발전과 머신 러닝을 사용하여 자체 최적화 데이터웨어 하우스를 만드는 방법에 대해 설명합니다.
또한 가격 대비 성능 비율에 비해 최근의 성능, 동시성, 탄력성 및 관리 효율성 향상을 검토합니다.
마지막으로, 미래의 데이터웨어 하우스에 대한 비전을 엿보고 Workday에서 Amazon Redshift의 최신 기능이 Workday가 최적화 및 확장을 달성하는 데 어떤 도움을 주 었는지에 대해 들어 봅니다.
AWS re:Invent 2019:
...
How Amazon leverages AWS to deliver analytics at enterprise scale (ANT204-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Amazon Redshift의 가장 중요하고 인기있는 새로운 기능에 대해 알아보십시오. 이 세션에서는 Amazon Redshift의 아키텍처 발전과 머신 러닝을 사용하여 자체 최적화 데이터웨어 하우스를 만드는 방법에 대해 설명합니다. 또한 가격 대비 성능 비율에 비해 최근의 성능, 동시성, 탄력성 및 관리 효율성 향상을 검토합니다. 마지막으로, 우리는 미래의 데이터웨어 하우스에 대한 비전을 엿보고 Yelp가 Amazon Redshift의 최신 기능이 Yelp의 최적화 및 규모 달성에 어떤 도움을 주 었는지 들었습니다.
...
.com은 전 세계 최대 규모의 Oracle 데이터웨어 하우스 중 하나에서 실행되는 수 십만 개의 일일 작업 인 엔터프라이즈 데이터웨어하우스를
2 년 이내에 확장 가능한 AWS 기반 데이터 레이크로 마이그레이션했습니다.
이 세션에서는 Amazon.com의 데이터 레이크 아키텍처와 Amazon Redshift 및 Amazon EMR을 어떻게 활용했는지 살펴 봅니다.
또한 모든 레거시 작업을 새 시스템으로 마이그레이션하는 데 사용되는 주요 전략을 검토하고 마이그레이션 후 시스템을 처음 실행 한 첫 해 부터 얻은 교훈을 포함합니다.
AWS re:Invent 2019:
...
How to scale data analytics w/ Amazon Redshift, ft. Warner Bros. (ANT335-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
기업은 데이터 스트리밍 아키텍처를 활용하여 고객의 요구에 실시간으로 대응합니다.
이 세션에서는 Amazon MSK를 사용하여 실시간 애플리케이션 개발을 가속화 할 수있는 방법에 대해 설명합니다.
Adobe는 우리와 함께 Apache Kafka를 사용하여 수백 가지 서비스에 대해 매일 600 억 개가 넘는 메시지를 처리하는 방법을 공유합니다.
Adobe가 직면 한 과제와 한 번의 클릭으로 수십 개의 Kafka 클러스터 관리에서 완전히 관리되는 Amazon MSK 클러스터 배포로 이동하는 이유에 대해 알아 봅니다.
이 접근 방식이 메시지 라우팅, 고급 QoS 및 HTTP 클라이언트를 처리하면서 Kubernetes, Spinnaker 및 Terraform과 같은 오픈 소스 프레임 워크에 구축 된 여러 솔루션을 통합하는 방법을 들어보십시오.
...
최신 클라우드 데이터웨어 하우스는 다양한 분석 워크로드를 처리 할 수 있도록 확장 및 확장할 수 있어야 합니다.
이 세션에서는 모든 사용 사례 또는 워크로드에 대해 예측 가능한 최저 비용으로 최고의 성능을 제공하는 Amazon Redshift의 기능에 대해 설명합니다.
Amazon Redshift가 대량의 쿼리 작업, 복잡한 쿼리가 포함 된 대용량 데이터 세트, 자주 쿼리되는 데이터 및 자주 액세스하지 않는 기록 데이터,
Amazon S3 데이터 레이크의 열린 파일 형식 및 Amazon Redshift의 구조화 된 데이터의 혼합으로 소규모 데이터 세트를 처리하는 방법에 대해 알아보십시오.
그리고 Warner Brothers는 Amazon Redshift를 통해 분석 성능이 어떻게 향상되었는지에 대해 설명합니다.
AWS re:Invent 2019:
...
[REPEAT] State-of-the-art cloud data warehousing, featuring Comcast (ANT213-R)
| 위젯 커넥터 | |||||||||
|---|---|---|---|---|---|---|---|---|---|
|
최첨단 클라우드 데이터웨어 하우스는 수천 명의 동시 사용자를 지원하면서 가장 저렴하고 예측 가능한 비용으로 최고의 성능을 제공해야 합니다.
또한 미래의 분석 워크로드에 필요한 민첩성을 달성하려면 데이터 레이크에 완벽하게 통합하고 분석 스택에서 최고 수준의 시민이 되어야 합니다.
Amazon Redshift는 오늘날 이것을 수행합니다. 이 세션에서는 Amazon Redshift가 스토리지를 확장하고 10 배 향상된 가격 대비 성능 비율로 계산하는 방법에 대해 설명합니다.
Amazon Redshift로 확장하여 Comcast가 성능을 개선 한 방법과 Amazon Redshift를 사용한 데이터웨어하우징이 모든 데이터를 분석하여 보다 심층적인 통찰력과 더 나은 결과를 제공하는 데 어떻게 도움이 되는지 알아보십시오Amazon S3에서 데이터 레이크를 구축하면 오픈 소스 데이터 형식에 대한 확장 성과 안정성을 제공하며 빅 데이터 분석 및 ML/AI 뿐만 아니라 보고 및 BI 모두에 대한 공통 데이터 저장소가 제공됩니다.
그러나 가장 일반적으로 사용되는 빅 데이터 프레임워크는 고객이 개별 레코드의 증분 변경을 처리하기 위해 대량의 데이터를 복원하도록 합니다.
Apache Hudi는 레코드를 작성, 업 세션 및 삭제하는 기능을 제공하며 변경 데이터 캡처 처리 및 실시간 스트림 처리를 단순화합니다.
이 세션에서는 Amazon EMR과 함께 Apache Hudi를 사용하고 기본 개념, 일반적인 시나리오 및 Hudi를 사용하여 워크 플로를 최적화하는 방법을 심층적으로 살펴 봅니다.
AWS re:Invent 2019:
...
State-of-the-art cloud data warehousing, featuring Asurion (ANT213-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
이 세션에서는 Intuit 담당자가 Apache Hive 및 Spark에서 실행되는 회사의 분석, 데이터 처리 (ETL) 및 데이터 과학 워크로드를 Amazon EMR로 마이그레이션하여 비용을 줄이고 가용성을 높이고 성능을 개선하는 방법에 대해 들었습니다.
이 세션에서는 주요 동기와 클라우드로의 전환의 이점에 중점을두고 주요 아키텍처 변경 및 모범 사례에 대한 세부 정보를 제공합니다.
Amazon Elasticsearch Service
...
최첨단 클라우드 데이터웨어 하우스는 수천 명의 동시 사용자를 지원하면서 가장 저렴하고 예측 가능한 비용으로 최고의 성능을 제공해야 합니다.
또한 미래의 분석 워크로드에 필요한 민첩성을 달성하려면 데이터 레이크에 완벽하게 통합하고 분석 스택에서 최고 수준의 시민이 되어야합니다.
Amazon Redshift는 오늘 이것을 수행합니다. 이 세션에서는 Amazon Redshift가 스토리지를 확장하고 10 배 향상된 가격 대비 성능 비율로 계산하는 방법에 대해 설명합니다. Amazon Redshift로 확장하여 Asurion이 성능을 개선 한 방법과 Amazon Redshift를 사용한 데이터웨어하우징이 모든 데이터를 분석하여 보다 심층적인 통찰력과 더 나은 결과를 제공하는 데 어떻게 도움이 되는지 알아보십시오.
AWS re:Invent 2019: [REPEAT 1] What’s new with Amazon Redshift, featuring Yelp (ANT320-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Compass는 업계 최고의 소프트웨어를 활용하여 부동산 전문가가 주택을 찾고, 마케팅하고, 판매하는 데 도움이되는 검색 및 분석 도구를 구축함으로써 Real Estate를 변화시키고 있습니다.
이 세션에서 Compass 엔지니어는 회사 카탈로그의 모든 주택 (목록)을 소비자 및 Compass Real Estate 전문가가 검색 할 수있게 만드는 방법에 대해 논의합니다.
또한 검색 인프라를 확장한 방법과 Amazon Elasticsearch Service (Amazon ES)를 포함한 다른 AWS 구성 요소를 활용하여 완벽하고 확장 가능한 홈 검색 솔루션을 제공하는 방법에 대해서도 설명합니다.
AWS Data Exchange
...
Amazon Redshift의 가장 중요하고 인기있는 새로운 기능에 대해 알아보십시오. 이 세션에서는 Amazon Redshift의 아키텍처 발전과 머신 러닝을 사용하여 자체 최적화 데이터웨어 하우스를 만드는 방법에 대해 설명합니다. 또한 가격 대비 성능 비율에 비해 최근의 성능, 동시성, 탄력성 및 관리 효율성 향상을 검토합니다. 마지막으로, 우리는 미래의 데이터웨어 하우스에 대한 비전을 엿보고 Yelp가 Amazon Redshift의 최신 기능이 Yelp의 최적화 및 규모 달성에 어떤 도움을 주 었는지 들었습니다.
AWS re:Invent 2019: Migrate your data warehouse to the cloud, ft. Fannie Mae (ANT334-R)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
이 세션에서는 AWS Data Exchange가 데이터 세트의 찾기, 라이센스 및 사용에 따른 마찰을 제거하는 방법을 살펴 봅니다.
데이터가 없으면 데이터를 라이센싱하고 분석을 강화하기 위해 필요한 곳으로 옮길 수 있습니다.
AWS Data Exchange를 사용하여 Amazon Athena 및 Amazon QuickSight와 같은 AWS 서비스로 내부 분석을 강화하는 방법을 배웁니다.
데이터 제공 업체의 경우 데이터 스토리지, 전송, 청구 및 적용을위한 인프라를 구축하고 유지 관리 할 필요가 없어져 AWS Data Exchange가 클라우드로 마이그레이션하는 수백만 고객에게 어떻게 쉽게 접근 할 수 있는지 알아보십시오.
최신 데이터웨어 하우징은 데이터를 이동할 필요없이 데이터웨어 하우스와 데이터 레이크의 모든 데이터를 혼합하고 분석합니다.
이 세션에서 Fannie Mae의 담당자는 주요 온 프레미스 데이터웨어 하우스에서 Amazon Redshift로 기록 시간을 어떻게 마이그레이션했는지 설명합니다.
회사가 AWS DMS (AWS Database Migration Service), AWS Schema Conversion Tool, AWS Glue 및 Amazon Redshift를 사용하여 조직 전체에시기 적절한 분석을 제공하는 방법을 알아보십시오.
...
MSK
AWS re:Invent 2019:
...
[REPEAT 1] Responding to customer needs in real time with Amazon MSK (ANT309-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
AWS Data Exchange를 사용하면 클라우드에서 타사 데이터를 쉽게 찾고 구독하고 사용할 수 있습니다.
이 세션에서는 AWS Data Exchange가 데이터 세트의 찾기, 라이센스 및 사용에 따른 마찰을 제거하는 방법을 살펴 봅니다.
데이터가 없으면 데이터를 라이센스하고 분석을 강화하기 위해 필요한 곳으로 옮길 수 있습니다.
AWS Data Exchange를 사용하여 Amazon Athena 및 Amazon QuickSight와 같은 AWS 서비스로 내부 분석을 강화하는 방법을 배웁니다.
데이터 제공 업체의 경우 데이터 스토리지, 전송, 청구 및 적용을위한 인프라를 구축하고 유지 관리 할 필요가 없어져 AWS Data Exchange가 클라우드로 마이그레이션하는 수백만 고객에게 어떻게 쉽게 접근 할 수 있는지 알아보십시오.
Customer case
...
기업은 데이터 스트리밍 아키텍처를 활용하여 고객의 요구에 실시간으로 대응합니다.
이 세션에서는 Amazon MSK를 사용하여 실시간 애플리케이션 개발을 가속화 할 수있는 방법에 대해 설명합니다.
Adobe는 우리와 함께 Apache Kafka를 사용하여 수백 가지 서비스에 대해 매일 600 억 개가 넘는 메시지를 처리하는 방법을 공유합니다.
Adobe가 직면 한 과제와 한 번의 클릭으로 수십 개의 Kafka 클러스터 관리에서 완전히 관리되는 Amazon MSK 클러스터 배포로 이동하는 이유에 대해 알아 봅니다.
이 접근 방식이 메시지 라우팅, 고급 QoS 및 HTTP 클라이언트를 처리하면서 Kubernetes, Spinnaker 및 Terraform과 같은 오픈 소스 프레임 워크에 구축 된 여러 솔루션을 통합하는 방법을 들어보십시오.
...
EMR
AWS re:Invent 2019: Insert, upsert, and delete data in Amazon S3 using Amazon EMR (ANT239)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
이 세션에서 Zappos가 AWS 분석을 활용하여 엔드 투 엔드 머신 러닝 (ML) 플랫폼을 개발 한 방법을 알아보십시오.
엔진은 Amazon Kinesis Data Firehose, Amazon Redshift 및 AWS Lambda에 크게 의존하는 실시간 이벤트 수집 시스템으로 구성됩니다.
시스템, 시스템 구축 방법 및 다양한 ML 알고리즘에 공급되는 방법에 대해 알아 봅니다.
마지막으로, 실시간 검색 최적화 및 크기 권장 사항을 포함하여 Zappos 웹 사이트에서 다양한 기능을 사용하는 방법을 알아보십시오Amazon S3에서 데이터 레이크를 구축하면 오픈 소스 데이터 형식에 대한 확장 성과 안정성을 제공하며 빅 데이터 분석 및 ML/AI 뿐만 아니라 보고 및 BI 모두에 대한 공통 데이터 저장소가 제공됩니다.
그러나 가장 일반적으로 사용되는 빅 데이터 프레임워크는 고객이 개별 레코드의 증분 변경을 처리하기 위해 대량의 데이터를 복원하도록 합니다.
Apache Hudi는 레코드를 작성, 업 세션 및 삭제하는 기능을 제공하며 변경 데이터 캡처 처리 및 실시간 스트림 처리를 단순화합니다.
이 세션에서는 Amazon EMR과 함께 Apache Hudi를 사용하고 기본 개념, 일반적인 시나리오 및 Hudi를 사용하여 워크 플로를 최적화하는 방법을 심층적으로 살펴 봅니다.
AWS re:Invent 2019:
...
Migrating Apache Spark and Hive from on-premises to Amazon EMR (ANT327-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Intuit는 Amazon EC2 (Amazon Elastic Compute Cloud), 컨테이너 및 서버리스 애플리케이션을 포함하는 클라우드 호스팅 아키텍처로 전환함에 따라 애플리케이션의 상태를 모니터링하는 방식을 혁신하기위한“관찰”과정을 밟고 있습니다.
관찰을 위해서는 로그, 메트릭, 추적 등의 상관 관계가 필요합니다. 이는 시스템이 더욱 분산됨에 따라 복잡해집니다. 이 세션에서이 회사는 OpenTelemetry, Amazon Elasticsearch Service (Amazon ES), Amazon Kinesis 및 Jaeger와 같은 도구를 활용하여 관찰 솔루션을 구축하고 컨테이너에서 서버리스 애플리케이션에 이르기까지 플랫폼 전반에 대한 가시성을 제공함으로써이 솔루션이 제공하는 이점에 대해 논의합니다. . 또한 향후 몇 년 동안 관측 성이 어떻게 발전하고 있는지에 대해 논의합니다.
...
|
이 세션에서는 Intuit 담당자가 Apache Hive 및 Spark에서 실행되는 회사의 분석, 데이터 처리 (ETL) 및 데이터 과학 워크로드를 Amazon EMR로 마이그레이션하여 비용을 줄이고 가용성을 높이고 성능을 개선하는 방법에 대해 들었습니다.
이 세션에서는 주요 동기와 클라우드로의 전환의 이점에 중점을두고 주요 아키텍처 변경 및 모범 사례에 대한 세부 정보를 제공합니다.
Amazon Elasticsearch Service
AWS re:Invent 2019: Intuit: Moving from monitoring to observability using Amazon ES (ANT330)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Sony Interactive Entertainment는 사용자의 거래 활동을 집계 할 수있는 빅 데이터 플랫폼으로 EVE Fraud System을 구축하여 은행의 지불 거절 또는 지불 거절없이 승인이 크게 증가했습니다.
이 세션에서 Sony가 Amazon Kinesis Data Analytics, Amazon Kinesis Data Firehose, AWS Lambda, AWS Glue, Amazon Simple Storage Service (Amazon S3) 및 Amazon DynamoDB를 사용하여 집계를 생성하고 180 밀리 초보다 짧게 단일 구매 트랜잭션에서 검색하는 방법을 알아보십시오Intuit는 Amazon EC2 (Amazon Elastic Compute Cloud), 컨테이너 및 서버리스 애플리케이션을 포함하는 클라우드 호스팅 아키텍처로 전환함에 따라 애플리케이션의 상태를 모니터링하는 방식을 혁신하기위한“관찰”과정을 밟고 있습니다.
관찰을 위해서는 로그, 메트릭, 추적 등의 상관 관계가 필요합니다. 이는 시스템이 더욱 분산됨에 따라 복잡해집니다. 이 세션에서이 회사는 OpenTelemetry, Amazon Elasticsearch Service (Amazon ES), Amazon Kinesis 및 Jaeger와 같은 도구를 활용하여 관찰 솔루션을 구축하고 컨테이너에서 서버리스 애플리케이션에 이르기까지 플랫폼 전반에 대한 가시성을 제공함으로써이 솔루션이 제공하는 이점에 대해 논의합니다. . 또한 향후 몇 년 동안 관측 성이 어떻게 발전하고 있는지에 대해 논의합니다.
AWS re:Invent 2019:
...
Simplifying and modernizing home search at Compass with Amazon ES (ANT207-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
최신 데이터웨어 하우징은 데이터를 이동할 필요없이 데이터웨어 하우스와 데이터 레이크의 모든 데이터를 혼합하고 분석합니다.
이 세션에서 Fannie Mae의 담당자는 주요 온 프레미스 데이터웨어 하우스에서 Amazon Redshift로 기록 시간을 어떻게 마이그레이션했는지 설명합니다.
회사가 AWS DMS (AWS Database Migration Service), AWS Schema Conversion Tool, AWS Glue 및 Amazon Redshift를 사용하여 조직 전체에시기 적절한 분석을 제공하는 방법을 알아보십시오.
...
Compass는 업계 최고의 소프트웨어를 활용하여 부동산 전문가가 주택을 찾고, 마케팅하고, 판매하는 데 도움이되는 검색 및 분석 도구를 구축함으로써 Real Estate를 변화시키고 있습니다.
이 세션에서 Compass 엔지니어는 회사 카탈로그의 모든 주택 (목록)을 소비자 및 Compass Real Estate 전문가가 검색 할 수있게 만드는 방법에 대해 논의합니다.
또한 검색 인프라를 확장한 방법과 Amazon Elasticsearch Service (Amazon ES)를 포함한 다른 AWS 구성 요소를 활용하여 완벽하고 확장 가능한 홈 검색 솔루션을 제공하는 방법에 대해서도 설명합니다.
...
AWS Data Exchange
AWS re:Invent 2019: AWS Data Exchange: Find & subscribe to third-party data in the cloud (ANT238-R)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
AWS Data Exchange를 사용하면 클라우드에서 타사 데이터를 쉽게 찾고 구독하고 사용할 수 있습니다.
이 세션에서는 AWS Data Exchange가 데이터 세트의 찾기, 라이센스 및 사용에 따른 마찰을 제거하는 방법을 살펴 봅니다.
데이터가 없으면 데이터를 라이센싱하고 분석을 강화하기 위해 필요한 곳으로 옮길 수 있습니다.
AWS Data Exchange를 사용하여 Amazon Athena 및 Amazon QuickSight와 같은 AWS 서비스로 내부 분석을 강화하는 방법을 배웁니다.
데이터 제공 업체의 경우 데이터 스토리지, 전송, 청구 및 적용을위한 인프라를 구축하고 유지 관리 할 필요가 없어져 AWS Data Exchange가 클라우드로 마이그레이션하는 수백만 고객에게 어떻게 쉽게 접근 할 수 있는지 Amazon Prime Video는 세계에서 가장 큰 스트리밍 서비스 중 하나이며 미국의 모든 인터넷 트래픽 중 8 % 이상을 매일 제공합니다.
전 세계 200여 개국에 수백만 대의 장치가 있어 원격 측정 데이터를 실시간으로 수집하고 분석하는 것은 주요한 확장 과제입니다.
이 세션에서 팀이 Amazon Kinesis, AWS Lambda 및 Amazon Simple Storage Service (Amazon S3)와 같은 AWS 기술을 사용하여
초당 수백만 건의 트랜잭션(TPS)과 수백 페타 바이트를 처리하는 차세대 원격 측정 플랫폼을 구축 한 방법을 알아보십시오.
AWS re:Invent 2019
...
: Easily find & subscribe to third-party data in the cloud (ANT238-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
AWS Data Exchange를 사용하면 클라우드에서 타사 데이터를 쉽게 찾고 구독하고 사용할 수 있습니다.
이 세션에서는 AWS Data Exchange가 데이터 세트의 찾기, 라이센스 및 사용에 따른 마찰을 제거하는 방법을 살펴 봅니다.
데이터가 없으면 데이터를 라이센스하고 분석을 강화하기 위해 필요한 곳으로 옮길 수 있습니다.
AWS Data Exchange를 사용하여 Amazon Athena 및 Amazon QuickSight와 같은 AWS 서비스로 내부 분석을 강화하는 방법을 배웁니다.
데이터 제공 업체의 경우 데이터 스토리지, 전송, 청구 및 적용을위한 인프라를 구축하고 유지 관리 할 필요가 없어져 AWS Data Exchange가 클라우드로 마이그레이션하는 수백만 고객에게 어떻게 쉽게 접근 할 수 있는지
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Woot.com은 레거시 데이터웨어 하우스를 대체하는 데이터 레이크를 설계하고 개발하여 여러 비즈니스 영역에서 강력한 분석 기능을 제공합니다.
이 세션에서 Amazon EMR, Amazon Athena, AWS Glue 및 Amazon QuickSight를 사용하여 즉각적인 분석을 위해 외부 및 내부 소스에서 데이터를 수집하고 중앙 집중화하는 자동화 된 프로세스를 구축 한 방법을 알아보십시오.