개요

Snowpark란 무엇일까요?

Streamlit이란 무엇일까요?

알아볼 내용

사전 필요 조건 및 지식

구축할 것

Snowflake에서 데이터 설정

개요

1단계 - Snowflake 마켓플레이스에서 SafeGraph POI 데이터 획득

aside positive SafeGraph는 전 세계 모든 장소에 대한 모든 데이터를 제공하는 전 세계적인 지리 공간 데이터 회사입니다. Esri, Tripadvisor, Mapbox 및 Sysco와 같은 고객은 SafeGraph 데이터를 사용하여 고객을 더 잘 이해하고, 신제품을 만들고, 비즈니스를 위한 더 나은 결정을 내립니다.

2단계 - 객체 생성, 데이터 로드 및 데이터 결합

USE ROLE accountadmin;

-- create a development database for data science work
CREATE OR REPLACE DATABASE frostbyte_tasty_bytes_dev;

-- create raw, harmonized, and analytics schemas
-- raw zone for data ingestion
CREATE OR REPLACE SCHEMA frostbyte_tasty_bytes_dev.raw;
-- harmonized zone for data processing
CREATE OR REPLACE SCHEMA frostbyte_tasty_bytes_dev.harmonized;
-- analytics zone for development
CREATE OR REPLACE SCHEMA frostbyte_tasty_bytes_dev.analytics;

-- create csv file format
CREATE OR REPLACE FILE FORMAT frostbyte_tasty_bytes_dev.raw.csv_ff 
type = 'csv';

-- create an external stage pointing to S3
CREATE OR REPLACE STAGE frostbyte_tasty_bytes_dev.raw.s3load
COMMENT = 'Quickstarts S3 Stage Connection'
url = 's3://sfquickstarts/frostbyte_tastybytes/'
file_format = frostbyte_tasty_bytes_dev.raw.csv_ff;

-- define shift sales table
CREATE OR REPLACE TABLE frostbyte_tasty_bytes_dev.raw.shift_sales(
 location_id NUMBER(19,0),
 city VARCHAR(16777216),
 date DATE,
 shift_sales FLOAT,
 shift VARCHAR(2),
 month NUMBER(2,0),
 day_of_week NUMBER(2,0),
 city_population NUMBER(38,0)
);

-- create and use a compute warehouse
CREATE OR REPLACE WAREHOUSE tasty_dsci_wh AUTO_SUSPEND = 60;
USE WAREHOUSE tasty_dsci_wh;

-- ingest from S3 into the shift sales table
COPY INTO frostbyte_tasty_bytes_dev.raw.shift_sales
FROM @frostbyte_tasty_bytes_dev.raw.s3load/analytics/shift_sales/;

-- join in SafeGraph data
CREATE OR REPLACE TABLE frostbyte_tasty_bytes_dev.harmonized.shift_sales
  AS
SELECT
    a.location_id,
    a.city,
    a.date,
    a.shift_sales,
    a.shift,
    a.month,
    a.day_of_week,
    a.city_population,
    b.latitude,
    b.longitude
FROM frostbyte_tasty_bytes_dev.raw.shift_sales a
JOIN frostbyte_safegraph.public.frostbyte_tb_safegraph_s b
ON a.location_id = b.location_id;

-- promote the harmonized table to the analytics layer for data science development
CREATE OR REPLACE VIEW frostbyte_tasty_bytes_dev.analytics.shift_sales_v
  AS
SELECT * FROM frostbyte_tasty_bytes_dev.harmonized.shift_sales;

-- view shift sales data
SELECT * FROM frostbyte_tasty_bytes_dev.analytics.shift_sales_v;

Snowpark를 통한 데이터 사이언스

개요

1단계 - GitHub 리포지토리 복제

$ git clone https://github.com/Snowflake-Labs/sfguide-tasty-bytes-snowpark-101-for-data-science.git

2단계 - 인증 파일 업데이트

aside positive
account 매개변수에는 계정 식별자를 사용합니다. 계정 식별자에는 snowflakecomputing.com 접미사가 포함되지 않습니다.

3단계- Python 환경 생성

aside positive 이러한 지침은 Python 환경을 생성하기 위해 Anaconda를 사용합니다. 하지만 Python 3.8을 포함한 다른 모든 Python 환경(예: virtualenv)을 사용할 수 있습니다.

aside negative Apple M1: pyOpenSSL의 메모리 처리로 인해 Apple M1 칩에서 Snowpark Python 실행과 관련해 알려진 이슈가 있습니다. 이 이슈를 해결하려면 Snowpark 설명서를 참조하십시오.

conda create --name py38_env_tb1 --override-channels -c https://repo.anaconda.com/pkgs/snowflake python=3.8

conda activate py38_env_tb1

conda install -c https://repo.anaconda.com/pkgs/snowflake snowflake-snowpark-python numpy pandas scikit-learn joblib cachetools

pip install streamlit matplotlib plotly notebook

jupyter notebook

4단계- Jupyter Notebook 실행

문제 해결

Streamlit을 사용한 애플리케이션 프로토타입

개요

1단계 - 사전 필요 조건 확인

2단계 - 선택 사항: 코드 검토

3단계 - 앱 시작

정리

이 Quickstart에 생성된 객체 개요

1단계 - Snowflake 객체 제거

USE ROLE accountadmin;
DROP PROCEDURE IF EXISTS frostbyte_tasty_bytes.analytics.sproc_train_linreg(varchar, array, varchar, varchar);
DROP FUNCTION IF EXISTS frostbyte_tasty_bytes.analytics.udf_linreg_predict_location_sales(float, float, float, float, float, float, float, float);
DROP DATABASE IF EXISTS frostbyte_tasty_bytes_dev;
DROP DATABASE IF EXISTS frostbyte_safegraph;
DROP WAREHOUSE IF EXISTS tasty_dsci_wh;

2단계 - Python 환경 제거

conda remove --name py38_env_tb1 --all

3단계 - 복제된 GitHub 리포지토리 제거

rm -rf sfguide-tasty-bytes-snowpark-101-for-data-science

종료 및 다음 단계

결론

다음 단계