...

Athena Query Federation SDK는 AWS에서 제공하는 커넥터를 넘어 페더레이션 쿼리의 이점을 확장합니다. 100 줄 미만의 코드로 고객은 독점 데이터 소스에 대한 커넥터를 구축하여 조직 전체에서 공유 할 수 있습니다.
커넥터는 Lambda 기능으로 배포되며 Athena에서 데이터 소스로 사용하도록 등록되었습니다. 등록된 Athena는 커넥터를 호출하여 데이터 소스에서 사용 가능한 데이터베이스, 테이블 및 열을 검색합니다.
단일 Athena 쿼리는 여러 데이터 소스에 걸쳐 있을 수 있습니다. 데이터 소스에 대해 쿼리가 제출되면 Athena는 해당 커넥터를 호출하여 읽어야하는 테이블 부분을 식별하고 병렬 처리를 관리하며 필터 조건자를 푸시 다운합니다.
쿼리를 제출하는 사용자에 따라 커넥터는 특정 데이터 요소에 대한 액세스를 제공하거나 제한 할 수 있습니다.
커넥터는 쿼리에서 요청 된 데이터를 반환하기위한 형식으로 Apache Arrow를 사용하므로 커넥터를 C, C ++, Java, Python 및 Rust와 같은 언어로 구현할 수 있습니다.
커넥터는 Lambda에서 실행되므로 클라우드 또는 Lambda에서 액세스 할 수있는 온-프레미스의 모든 데이터 소스에서 데이터에 액세스하는 데 사용할 수 있습니다.
 

Amazon Athena adds four new query-related metrics

Amazon Athena now publishes additional query metrics that can help customers understand Amazon Athena performance. Athena publishes query-related metrics to Amazon CloudWatch. With this release, Athena will publish four additional query metrics.

They are:

• Query Planning Time, the time taken to plan the query. This includes the time spent retrieving table partitions from the data source,
• Query Queuing Time, the time that the query was in a queue waiting for resources,
• Service Processing Time, the time taken to write results after the query engine finished its execution,
• Total Execution Time, time Athena took to run the query.

You can create custom dashboards, set alarms and triggers on metrics in CloudWatch, or use pre-populated dashboards directly from the Athena console to consume these new query metrics.  

Please visit our documentation to learn more about the new published metrics.

What’s New Post: https://aws.amazon.com/about-aws/whats-new/2019/11/amazon-athena-adds-four-new-query-related-metrics/  

오늘은 고객이 Amazon Athena 성능을 이해하는 데 도움을 주는 추가적인 쿼리 지표를 게시합니다. Athena는 쿼리 관련 지표를 Amazon CloudWatch에 게시합니다. 이번 릴리스에서 Athena는 추가적인 쿼리 지표 4개를 게시할 예정입니다. 해당 지표는 다음과 같습니다.

• 쿼리 계획 시간: 쿼리를 계획하는 데 소요된 시간입니다. 여기에는 데이터 원본으로부터 테이블 파티션을 검색하는 데 소요된 시간이 포함됩니다.
• 쿼리 대기열 시간: 쿼리가 대기열에서 리소스를 기다린 시간입니다.
• 서비스 처리 시간: 쿼리 엔진이 실행을 완료한 후 결과를 작성하는 데 소요된 시간입니다.
• 총 실행 시간: Athena에서 쿼리를 실행하는 데 소요된 시간입니다.

사용자 지정 대시보드를 생성하거나, CloudWatch에서 지표에 경보와 트리거를 설정하거나, Athena 콘솔에서 미리 구성된 대시보드를 직접 사용하여 이러한 새로운 쿼리 지표를 사용할 수 있습니다.  

...

Redshift

What's New - Amazon Redshift introduces support for federated querying

...