Snowflake에서 변환

개요

사전 필요 조건 및 지식

알아볼 내용

구축할 것

워크시트 생성 및 SQL 복사

개요

1단계 - URL을 통해 Snowflake에 액세스

2단계 - Snowflake에 로그인

3단계 - Worksheets로 이동

4단계 - 워크시트 생성

5단계 - 워크시트 이름 바꾸기

6단계 - GitHub에서 Quickstart SQL에 액세스

7단계 - GitHub에서 설정 SQL 복사

8단계 - 설정 SQL을 GitHub에서 Snowflake 워크시트로 붙여넣기

9단계 - 다음 클릭 -->

개발을 위해 즉각적으로 프로덕션 테이블 복제

개요

1단계 - 프로덕션 복제 생성

USE ROLE tasty_dev;

CREATE OR REPLACE TABLE frostbyte_tasty_bytes.raw_pos.truck_dev 
    CLONE frostbyte_tasty_bytes.raw_pos.truck;

aside positive 제로 카피 클론: 데이터베이스, 스키마 또는 테이블의 사본을 생성합니다. 소스 객체에 있는 데이터의 스냅샷은 복제가 생성되었고 이것이 복제된 객체에 제공되었을 때 찍습니다. 복제된 객체는 쓰기 가능하며 복제 소스와는 별도입니다. 따라서 소스 객체 또는 복제 객체에 적용된 변경 사항은 다른 객체에 포함되지 않습니다.

2단계 - 다음 클릭 -->

Snowflake의 쿼리 결과 세트 캐시 테스트

개요

1단계 - 복제된 테이블 쿼리

USE WAREHOUSE tasty_dev_wh;

SELECT
    t.truck_id,
    t.year,
    t.make,
    t.model
FROM frostbyte_tasty_bytes.raw_pos.truck_dev t
ORDER BY t.truck_id;

2단계 - 쿼리 재실행

SELECT
    t.truck_id,
    t.year,
    t.make,
    t.model
FROM frostbyte_tasty_bytes.raw_pos.truck_dev t
ORDER BY t.truck_id;

aside positive 사용자가 이미 실행된 쿼리를 반복하고 마지막으로 쿼리를 실행한 시점 이후로 테이블에 있는 데이터가 변경되지 않은 경우, 쿼리 결과는 동일합니다. Snowflake는 쿼리를 다시 실행하는 대신 이전에 반환된 결과와 동일한 결과를 반환합니다.

이를 통해 Snowflake가 쿼리를 실행하지 않고 캐시에서 직접 해당 결과를 검색하므로 쿼리 시간을 상당히 단축할 수 있습니다.

3단계 - 다음 클릭 -->

데이터 업데이트 및 푸드 트럭 나이 계산

개요

1단계 - 열에서 잘못된 값 업데이트

UPDATE frostbyte_tasty_bytes.raw_pos.truck_dev 
SET make = 'Ford' 
WHERE make = 'Ford_';

2단계 - 나이 계산 구축

SELECT
    t.truck_id,
    t.year,
    t.make,
    t.model,
    (YEAR(CURRENT_DATE()) - t.year) AS truck_age_year
FROM frostbyte_tasty_bytes.raw_pos.truck_dev t;

3단계 - 다음 클릭 -->

열 추가 및 업데이트

개요

1단계 - 테이블에 열 추가

ALTER TABLE frostbyte_tasty_bytes.raw_pos.truck_dev
    ADD COLUMN truck_age NUMBER(4);

2단계 - 계산된 값을 열에 추가

UPDATE frostbyte_tasty_bytes.raw_pos.truck_dev t
    SET truck_age = (YEAR(CURRENT_DATE()) / t.year);

3단계 - 새로운 열 쿼리

SELECT
    t.truck_id,
    t.year,
    t.truck_age
FROM frostbyte_tasty_bytes.raw_pos.truck_dev t;

4단계 - 다음 클릭 -->

데이터 재해 복구를 위해 Time Travel 활용

개요

aside positive Time Travel을 사용하면 정의된 기간 내 모든 시점의 과거 데이터(예: 변경 또는 삭제된 데이터)에 액세스할 수 있습니다.

1단계 - 쿼리 내역 활용

SELECT 
    query_id,
    query_text,
    user_name,
    query_type,
    start_time
FROM TABLE(frostbyte_tasty_bytes.information_schema.query_history())
WHERE 1=1
    AND query_type = 'UPDATE'
    AND query_text LIKE '%frostbyte_tasty_bytes.raw_pos.truck_dev%'
ORDER BY start_time DESC;

2단계 - SQL 변수 설정

SET query_id = 
(
    SELECT TOP 1 query_id
    FROM TABLE(frostbyte_tasty_bytes.information_schema.query_history())
    WHERE 1=1
        AND query_type = 'UPDATE'
        AND query_text LIKE '%SET truck_age = (YEAR(CURRENT_DATE()) / t.year);'
    ORDER BY start_time DESC
);

3단계 - 테이블을 되돌리기 위해 Time Travel 활용

CREATE OR REPLACE TABLE frostbyte_tasty_bytes.raw_pos.truck_dev
    AS 
SELECT * FROM frostbyte_tasty_bytes.raw_pos.truck_dev
BEFORE(STATEMENT => $query_id); 

aside positive AT: AT 키워드는 지정된 매개변수와 동일한 타임스탬프를 갖는 문 또는 트랜잭션에 의해 수행된 모든 변경 사항을 요청이 포함하도록 지정합니다.

BEFORE: BEFORE 키워드는 요청이 지정된 매개변수 바로 앞의 지점을 참조하도록 지정합니다.

TIMESTAMP: Time Travel에 사용할 정확한 날짜와 시간을 지정합니다.

OFFSET: Time Travel에 사용하기 위한 현재 시간의 초 차이를 지정합니다.

STATEMENT: Time Travel의 기준점으로 사용할 문의 쿼리 ID를 지정합니다.

4단계 - 다음 클릭 -->

개발에서 프로덕션으로 승격

개요

1단계 - 올바르게 계산된 값을 열에 추가

UPDATE frostbyte_tasty_bytes.raw_pos.truck_dev t
SET truck_age = (YEAR(CURRENT_DATE()) - t.year);

2단계 - 개발 테이블을 프로덕션으로 교체

USE ROLE sysadmin;

ALTER TABLE frostbyte_tasty_bytes.raw_pos.truck_dev 
    SWAP WITH frostbyte_tasty_bytes.raw_pos.truck;

3단계 - 프로덕션 확인

SELECT
    t.truck_id,
    t.year,
    t.truck_age
FROM frostbyte_tasty_bytes.raw_pos.truck t
WHERE t.make = 'Ford';

4단계 - 다음 클릭 -->

테이블 드롭 및 드롭 취소

개요

1단계 - 테이블 드롭

DROP TABLE frostbyte_tasty_bytes.raw_pos.truck;

2단계 - 테이블 드롭 취소

UNDROP TABLE frostbyte_tasty_bytes.raw_pos.truck;

3단계 - 올바른 테이블 드롭

DROP TABLE frostbyte_tasty_bytes.raw_pos.truck_dev;

4단계 - 다음 클릭 -->

종료 및 다음 단계

결론

다음 단계