데이터 탐색 및 분석하기

Athena로 데이터 탐색 및 분석하기

Athena는 Glue Data Catalog와 즉시 통합되어 Data Catalog 메타데이터에 쿼리를 수행할 수 있습니다.

  1. AWS Management Console에서 Athena 서비스를 선택합니다.

  2. 처음 Athena를 사용하는 경우, [Get Started] 버튼을 클릭합니다. Athena Query editor가 실행되고 쿼리를 실행하려면 쿼리 결과를 저장할 S3 버킷을 지정해야합니다. 쿼리 편집기 위의 set up a query result location in Amazon S3 를 클릭합니다.

athena-s3-location

Query result location에 s3://lookout-for-vision-workshop-xxxxxxxx/athena/를 입력합니다. xxxxxxxx를 복사해둔 S3 버킷 숫자로 변경해줍니다.

athena-query-result

이전에 Athena를 사용했다면, 우측 상단의 Settings를 클릭하고 Query result location을 s3://lookout-for-vision-workshop-xxxxxxxx/athena/로 변경합니다. xxxxxxxx를 복사해둔 S3 버킷 숫자로 바꿔줍니다.

settings

  1. 데이터를 탐색합니다. Data source로 AwsDataCatalog를 선택하고 Database로 lookout-for-vision-result-db를 선택합니다. 그리고 Tables에 나타난 result 테이블의 데이터를 확인합니다. result 테이블 옆의 세 점을 클릭하고 Preview table을 클릭합니다. 쿼리 실행 결과를 Results 에서 확인합니다. preview

  2. 테이블은 ProductId, IsAnomaly, ReinsepctionNeeded, CapturedDate의 네 Column으로 구성되어있습니다. QuickSight에서 이 데이터를 시각화하기 위해 아래 쿼리를 쿼리 편집기에 입력합니다.

SELECT
  ProductId
, IsAnomaly
, ReinspectionNeeded
, date_parse(CapturedDate, '%Y-%m-%d %h:%i:%s.%f') as CapturedDate
FROM "lookout-for-vision-result-db"."result";

[Run query] 버튼을 클릭하고 Results에서 쿼리 실행 결과를 확인합니다.

query

  1. 아래 코드를 복사하고 붙여넣기 합니다. [Run query] 버튼을 클릭합니다. 쿼리 결과가 lookout-for-vision-result 테이블에 저장됩니다.
CREATE TABLE "lookout-for-vision-result-db"."lookout-for-vision-result"
WITH (
  format='PARQUET'
) AS
SELECT
  ProductId
, IsAnomaly
, ReinspectionNeeded
, date_parse(CapturedDate, '%Y-%m-%d %h:%i:%s.%f') as CapturedDate
FROM "lookout-for-vision-result-db"."result";