...
최신 데이터웨어 하우징은 데이터를 이동할 필요없이 데이터웨어 하우스와 데이터 레이크의 모든 데이터를 혼합하고 분석합니다.
이 세션에서 Fannie Mae의 담당자는 주요 온 프레미스 데이터웨어 하우스에서 Amazon Redshift로 기록 시간을 어떻게 마이그레이션했는지 설명합니다.
회사가 AWS DMS (AWS Database Migration Service), AWS Schema Conversion Tool, AWS Glue 및 Amazon Redshift를 사용하여 조직 전체에시기 적절한 분석을 제공하는 방법을 알아보십시오.
...
Keynote with Andy Jassy - Redshift
Amazon Redshift Feature
Amazon Redshift introduces RA3 nodes with managed storage enabling independent compute and storage scaling
https://pagesaws.awscloudamazon.com/AQUA_Preview.html
AQUA는 Redshift가 다른 클라우드 데이터웨어하우스보다 최대 10 배 빠르게 실행할 수있는 새로운 분산 및 하드웨어 가속 캐시입니다.
중앙 집중식 스토리지가있는 기존 데이터웨어 하우징 아키텍처는 처리를 위해 클러스터를 계산하기 위해 데이터를 이동해야 합니다.
향후 몇 년 동안 데이터웨어하우스가 계속 증가함에 따라이 모든 데이터를 이동하는 데 필요한 네트워크 대역폭은 쿼리 성능에 병목이 됩니다.
MSK
AWS re:Invent 2019: [REPEAT 1] Responding to customer needs in real time with Amazon MSK (ANT309-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
기업은 데이터 스트리밍 아키텍처를 활용하여 고객의 요구에 실시간으로 대응합니다.
이 세션에서는 Amazon MSK를 사용하여 실시간 애플리케이션 개발을 가속화 할 수있는 방법에 대해 설명합니다.
Adobe는 우리와 함께 Apache Kafka를 사용하여 수백 가지 서비스에 대해 매일 600 억 개가 넘는 메시지를 처리하는 방법을 공유합니다.
Adobe가 직면 한 과제와 한 번의 클릭으로 수십 개의 Kafka 클러스터 관리에서 완전히 관리되는 Amazon MSK 클러스터 배포로 이동하는 이유에 대해 알아 봅니다.
이 접근 방식이 메시지 라우팅, 고급 QoS 및 HTTP 클라이언트를 처리하면서 Kubernetes, Spinnaker 및 Terraform과 같은 오픈 소스 프레임 워크에 구축 된 여러 솔루션을 통합하는 방법을 들어보십시오.
EMR
...
/ko/about-aws/whats-new/2019/12/amazon-redshift-announces-ra3-nodes-managed-storage/
RA3 노드를 사용하면 컴퓨팅 및 스토리지 비용을 독립적으로 확장 및 지불 할 수 있으므로 컴퓨팅 요구에 따라 클러스터의 크기를 조정할 수 있습니다. 이제 더 많은 데이터를 비용 효율적으로 분석 할 수 있습니다.
RA3 노드는 AWS Nitro System을 기반으로하며 베어 메탈과 구분할 수 없는 높은 대역폭의 네트워킹 및 성능을 제공합니다. RA3 노드는 매우 큰 고성능 SSD를 로컬 캐시로 사용합니다.
RA3 노드는 자동 세분화 된 데이터 제거 및 지능형 데이터 프리 페칭과 같은 워크로드 패턴과 고급 데이터 관리 기술을 활용하여 로컬 SSD의 성능을 제공하는 동시에 스토리지를 S3로 자동 확장합니다. RA3 노드는 기존의 모든 워크로드와 완벽하게 호환됩니다.
Advanced Query Accelerator (AQUA) for Amazon Redshift is now Available for Preview
https://pages.awscloud.com/AQUA_Preview.html
AQUA는 Redshift가 다른 클라우드 데이터웨어하우스보다 최대 10 배 빠르게 실행할 수있는 새로운 분산 및 하드웨어 가속 캐시입니다.
중앙 집중식 스토리지가있는 기존 데이터웨어 하우징 아키텍처는 처리를 위해 클러스터를 계산하기 위해 데이터를 이동해야 합니다.
향후 몇 년 동안 데이터웨어하우스가 계속 증가함에 따라이 모든 데이터를 이동하는 데 필요한 네트워크 대역폭은 쿼리 성능에 병목이 됩니다.
...
MSK
AWS re:Invent 2019: [REPEAT 1] Responding to customer needs in real time with Amazon MSK (ANT309-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Amazon S3에서 데이터 레이크를 구축하면 오픈 소스 데이터 형식에 대한 확장 성과 안정성을 제공하며 빅 데이터 분석 및 ML/AI 뿐만 아니라 보고 및 BI 모두에 대한 공통 데이터 저장소가 제공됩니다.
그러나 가장 일반적으로 사용되는 빅 데이터 프레임워크는 고객이 개별 레코드의 증분 변경을 처리하기 위해 대량의 데이터를 복원하도록 합니다.
Apache Hudi는 레코드를 작성, 업 세션 및 삭제하는 기능을 제공하며 변경 데이터 캡처 처리 및 실시간 스트림 처리를 단순화합니다.
이 세션에서는 Amazon EMR과 함께 Apache Hudi를 사용하고 기본 개념, 일반적인 시나리오 및 Hudi를 사용하여 워크 플로를 최적화하는 방법을 심층적으로 살펴 봅니다.
...
기업은 데이터 스트리밍 아키텍처를 활용하여 고객의 요구에 실시간으로 대응합니다.
이 세션에서는 Amazon MSK를 사용하여 실시간 애플리케이션 개발을 가속화 할 수있는 방법에 대해 설명합니다.
Adobe는 우리와 함께 Apache Kafka를 사용하여 수백 가지 서비스에 대해 매일 600 억 개가 넘는 메시지를 처리하는 방법을 공유합니다.
Adobe가 직면 한 과제와 한 번의 클릭으로 수십 개의 Kafka 클러스터 관리에서 완전히 관리되는 Amazon MSK 클러스터 배포로 이동하는 이유에 대해 알아 봅니다.
이 접근 방식이 메시지 라우팅, 고급 QoS 및 HTTP 클라이언트를 처리하면서 Kubernetes, Spinnaker 및 Terraform과 같은 오픈 소스 프레임 워크에 구축 된 여러 솔루션을 통합하는 방법을 들어보십시오.
...
EMR
AWS re:Invent 2019: Insert, upsert, and delete data in Amazon S3 using Amazon EMR (ANT239)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
이 세션에서는 Intuit 담당자가 Apache Hive 및 Spark에서 실행되는 회사의 분석, 데이터 처리 (ETL) 및 데이터 과학 워크로드를 Amazon EMR로 마이그레이션하여 비용을 줄이고 가용성을 높이고 성능을 개선하는 방법에 대해 들었습니다.
이 세션에서는 주요 동기와 클라우드로의 전환의 이점에 중점을두고 주요 아키텍처 변경 및 모범 사례에 대한 세부 정보를 제공합니다.
Amazon Elasticsearch Service
AWS re:Invent 2019: Intuit: Moving from monitoring to observability using Amazon ES (ANT330)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Intuit는 Amazon EC2 (Amazon Elastic Compute Cloud), 컨테이너 및 서버리스 애플리케이션을 포함하는 클라우드 호스팅 아키텍처로 전환함에 따라 애플리케이션의 상태를 모니터링하는 방식을 혁신하기위한“관찰”과정을 밟고 있습니다.
관찰을 위해서는 로그, 메트릭, 추적 등의 상관 관계가 필요합니다. 이는 시스템이 더욱 분산됨에 따라 복잡해집니다. 이 세션에서이 회사는 OpenTelemetry, Amazon Elasticsearch Service (Amazon ES), Amazon Kinesis 및 Jaeger와 같은 도구를 활용하여 관찰 솔루션을 구축하고 컨테이너에서 서버리스 애플리케이션에 이르기까지 플랫폼 전반에 대한 가시성을 제공함으로써이 솔루션이 제공하는 이점에 대해 논의합니다. . 또한 향후 몇 년 동안 관측 성이 어떻게 발전하고 있는지에 대해 논의합니다.Amazon S3에서 데이터 레이크를 구축하면 오픈 소스 데이터 형식에 대한 확장 성과 안정성을 제공하며 빅 데이터 분석 및 ML/AI 뿐만 아니라 보고 및 BI 모두에 대한 공통 데이터 저장소가 제공됩니다.
그러나 가장 일반적으로 사용되는 빅 데이터 프레임워크는 고객이 개별 레코드의 증분 변경을 처리하기 위해 대량의 데이터를 복원하도록 합니다.
Apache Hudi는 레코드를 작성, 업 세션 및 삭제하는 기능을 제공하며 변경 데이터 캡처 처리 및 실시간 스트림 처리를 단순화합니다.
이 세션에서는 Amazon EMR과 함께 Apache Hudi를 사용하고 기본 개념, 일반적인 시나리오 및 Hudi를 사용하여 워크 플로를 최적화하는 방법을 심층적으로 살펴 봅니다.
AWS re:Invent 2019:
...
Migrating Apache Spark and Hive from on-premises to Amazon EMR (ANT327-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
이 세션에서는 Intuit 담당자가 Apache Hive 및 Spark에서 실행되는 회사의 분석, 데이터 처리 (ETL) 및 데이터 과학 워크로드를 Amazon EMR로 마이그레이션하여 비용을 줄이고 가용성을 높이고 성능을 개선하는 방법에 대해 들었습니다.
이 세션에서는 주요 동기와 클라우드로의 전환의 이점에 중점을두고 주요 아키텍처 변경 및 모범 사례에 대한 세부 정보를 제공합니다.
Amazon Elasticsearch Service
AWS re:Invent 2019: Intuit: Moving from monitoring to observability using Amazon ES (ANT330)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Intuit는 Amazon EC2 (Amazon Elastic Compute Cloud), 컨테이너 및 서버리스 애플리케이션을 포함하는 클라우드 호스팅 아키텍처로 전환함에 따라 애플리케이션의 상태를 모니터링하는 방식을 혁신하기위한“관찰”과정을 밟고 있습니다.
관찰을 위해서는 로그, 메트릭, 추적 등의 상관 관계가 필요합니다. 이는 시스템이 더욱 분산됨에 따라 복잡해집니다. 이 세션에서이 회사는 OpenTelemetry, Amazon Elasticsearch Service (Amazon ES), Amazon Kinesis 및 Jaeger와 같은 도구를 활용하여 관찰 솔루션을 구축하고 컨테이너에서 서버리스 애플리케이션에 이르기까지 플랫폼 전반에 대한 가시성을 제공함으로써이 솔루션이 제공하는 이점에 대해 논의합니다. . 또한 향후 몇 년 동안 관측 성이 어떻게 발전하고 있는지에 대해 논의합니다.
AWS re:Invent 2019: Simplifying and modernizing home search at Compass with Amazon ES (ANT207-R1)
| 위젯 커넥터 | ||||||
|---|---|---|---|---|---|---|
|
Compass는 업계 최고의 소프트웨어를 활용하여 부동산 전문가가 주택을 찾고, 마케팅하고, 판매하는 데 도움이되는 검색 및 분석 도구를 구축함으로써 Real Estate를 변화시키고 있습니다.
이 세션에서 Compass 엔지니어는 회사 카탈로그의 모든 주택 (목록)을 소비자 및 Compass Real Estate 전문가가 검색 할 수있게 만드는 방법에 대해 논의합니다.
또한 검색 인프라를 확장한 방법과 Amazon Elasticsearch Service (Amazon ES)를 포함한 다른 AWS 구성 요소를 활용하여 완벽하고 확장 가능한 홈 검색 솔루션을 제공하는 방법에 대해서도 설명합니다.
Keynote with Andy Jassy (ES)
Announcing UltraWarm (Preview) for Amazon Elasticsearch Service
Amazon Elasticsearch Service를 위한 완전 관리 형 저비용 웜 스토리지 계층인 UltraWarm을 발표하게 되어 기쁩니다.
이제 UltraWarm을 미리 볼 수 있으며 Amazon Elasticsearch Service에서 핫 웜 티어링을 제공하는 새로운 접근 방식을 사용하여 기존 옵션에 비해 거의 90%의 비용 절감으로 최대 900TB의 스토리지를 제공합니다.
UltraWarm은 Amazon Elasticsearch Service 환경을 완벽하게 확장하므로 익숙한 Kibana 인터페이스에서 핫 및 UltraWarm 데이터를 쿼리하고 시각화 할 수 있습니다.
UltraWarm 데이터는 현재 사용하는 것과 동일한 API 및 도구를 사용하여 쿼리 할 수 있으며, 휴지 및 비행 중 암호화, 통합 경고, SQL 쿼리 등과 같은 널리 사용되는 Amazon Elasticsearch Service 기능도 지원합니다.
Amazon Elasticsearch Service 고객에게 널리 사용되는 사례는 대량의 머신 생성 로그 데이터를 수집하고 증가시키는 것입니다. 그러나 이러한 고객은 더 많은이 데이터에 대해 실시간 분석을 수행하려고하므로 운영 및 보안 문제를 신속하게 해결하는 데 사용할 수 있습니다. 몇 달 또는 몇 년에 이르는 데이터의 저장 및 분석은 규모에 따라 막대한 비용이 소요되어 일부는 여러 분석 도구를 사용하게하는 반면, 일부는 단순히 귀중한 데이터를 삭제하고 통찰력을 잃어 버렸습니다. Amazon Simple Storage Service (S3)가 지원하는 비용 효율적인 스토리지를 갖춘 UltraWarm은 이 문제를 해결하는 데 도움이되므로 고객은 분석을 위해 수년간의 데이터를 유지할 수 있습니다Compass는 업계 최고의 소프트웨어를 활용하여 부동산 전문가가 주택을 찾고, 마케팅하고, 판매하는 데 도움이되는 검색 및 분석 도구를 구축함으로써 Real Estate를 변화시키고 있습니다.
이 세션에서 Compass 엔지니어는 회사 카탈로그의 모든 주택 (목록)을 소비자 및 Compass Real Estate 전문가가 검색 할 수있게 만드는 방법에 대해 논의합니다.
또한 검색 인프라를 확장한 방법과 Amazon Elasticsearch Service (Amazon ES)를 포함한 다른 AWS 구성 요소를 활용하여 완벽하고 확장 가능한 홈 검색 솔루션을 제공하는 방법에 대해서도 설명합니다.
...
AWS Data Exchange
AWS re:Invent 2019: AWS Data Exchange: Find & subscribe to third-party data in the cloud (ANT238-R)
...