Panoramica

Che cos’è Snowpark?

Che cos’è Streamlit?

Cosa imparerai

Prerequisiti

Cosa realizzerai

Configurare i dati in Snowflake

Panoramica

Passaggio 1 - Acquisire i dati sui punti di interesse di SafeGraph dal Marketplace Snowflake

aside positive SafeGraph è un’azienda globale di dati geospaziali che offre dati su qualsiasi località nel mondo. Clienti come Esri, Tripadvisor, Mapbox e Sysco utilizzano i dati di SafeGraph per comprendere meglio i propri clienti, creare nuovi prodotti e prendere decisioni migliori per il proprio business.

Passaggio 2 - Creare oggetti, caricare i dati e unire i dati

USE ROLE accountadmin;

-- create a development database for data science work 
CREATE OR REPLACE DATABASE frostbyte_tasty_bytes_dev;

-- create raw, harmonized, and analytics schemas 
-- raw zone for data ingestion C
REATE OR REPLACE SCHEMA frostbyte_tasty_bytes_dev.raw; 
-- harmonized zone for data processing 
CREATE OR REPLACE SCHEMA frostbyte_tasty_bytes_dev.harmonized; 
-- analytics zone for development 
CREATE OR REPLACE SCHEMA frostbyte_tasty_bytes_dev.analytics;

-- create csv file format 
CREATE OR REPLACE FILE FORMAT frostbyte_tasty_bytes_dev.raw.csv_ff 
type = 'csv';

-- create an external stage pointing to S3 
CREATE OR REPLACE STAGE frostbyte_tasty_bytes_dev.raw.s3load 
COMMENT = 'Quickstarts S3 Stage Connection' 
url = 's3://sfquickstarts/frostbyte_tastybytes/' 
file_format = frostbyte_tasty_bytes_dev.raw.csv_ff;

-- define shift sales table 
CREATE OR REPLACE TABLE frostbyte_tasty_bytes_dev.raw.shift_sales( 
　location_id NUMBER(19,0), 
  city VARCHAR(16777216), 
  date DATE, 
  shift_sales FLOAT, 
  shift VARCHAR(2), 
  month NUMBER(2,0), 
  day_of_week NUMBER(2,0), 
  city_population NUMBER(38,0) 
);

-- create and use a compute warehouse 
CREATE OR REPLACE WAREHOUSE tasty_dsci_wh AUTO_SUSPEND = 60; 
USE WAREHOUSE tasty_dsci_wh;

-- ingest from S3 into the shift sales table 
COPY INTO frostbyte_tasty_bytes_dev.raw.shift_sales 
FROM @frostbyte_tasty_bytes_dev.raw.s3load/analytics/shift_sales/;

-- join in SafeGraph data 
CREATE OR REPLACE TABLE frostbyte_tasty_bytes_dev.harmonized.shift_sales 
  AS 
SELECT 
    a.location_id, 
    a.city, 
    a.date, 
    a.shift_sales, 
    a.shift, 
    a.month, 
    a.day_of_week, 
    a.city_population, 
    b.latitude, 
    b.longitude 
FROM frostbyte_tasty_bytes_dev.raw.shift_sales a 
JOIN frostbyte_safegraph.public.frostbyte_tb_safegraph_s b 
ON a.location_id = b.location_id;

-- promote the harmonized table to the analytics layer for data science development 
CREATE OR REPLACE VIEW frostbyte_tasty_bytes_dev.analytics.shift_sales_v 
  AS 
SELECT * FROM frostbyte_tasty_bytes_dev.harmonized.shift_sales;

-- view shift sales data 
SELECT * FROM frostbyte_tasty_bytes_dev.analytics.shift_sales_v; 

Data Science con Snowpark

Panoramica

Passaggio 1 - Clonare il repository GitHub

$ git clone https://github.com/Snowflake-Labs/sfguide-tasty-bytes-snowpark-101-for-data-science.git

Passaggio 2 - Aggiornare il file di autorizzazione

aside positive
Per il parametro account, usa il tuo ID account. Nota che l’ID account non include il suffisso snowflakecomputing.com.

Passaggio 3 - Creare l’ambiente Python

aside positive Queste istruzioni utilizzano Anaconda per creare l’ambiente Python. Tuttavia, puoi usare qualsiasi altro ambiente Python con Python 3.8, ad esempio virtualenv.

aside negative Apple M1: l’esecuzione di Snowpark Python sui chip Apple M1 presenta un problema noto, dovuto alla gestione della memoria in pyOpenSSL. Per risolvere questo problema, consulta la documentazione di Snowpark.

conda create --name py38_env_tb1 --override-channels -c https://repo.anaconda.com/pkgs/snowflake python=3.8

conda activate py38_env_tb1

conda install -c https://repo.anaconda.com/pkgs/snowflake snowflake-snowpark-python numpy pandas scikit-learn joblib cachetools

pip install streamlit matplotlib plotly notebook

jupyter notebook

Passaggio 4 - Eseguire il notebook Jupyter

Risoluzione dei problemi

Prototipo di applicazione con Streamlit

Panoramica

Passaggio 1 - Verificare i prerequisiti

Passaggio 2 - Facoltativo: rivedere il codice

Passaggio 3 - Eseguire l’app

  conda activate py38_env_tb1

  streamlit run streamlit_app.py

Pulizia

Panoramica degli oggetti creati in questo quickstart

Passaggio 1 - Rimuovere gli oggetti Snowflake

USE ROLE accountadmin;
DROP PROCEDURE IF EXISTS frostbyte_tasty_bytes.analytics.sproc_train_linreg(varchar, array, varchar, varchar);
DROP FUNCTION IF EXISTS frostbyte_tasty_bytes.analytics.udf_linreg_predict_location_sales(float, float, float, float, float, float, float, float);
DROP DATABASE IF EXISTS frostbyte_tasty_bytes_dev;
DROP DATABASE IF EXISTS frostbyte_safegraph;
DROP WAREHOUSE IF EXISTS tasty_dsci_wh;

Passaggio 2 - Rimuovere l’ambiente Python

conda remove --name py38_env_tb1 --all

Passaggio 3 - Rimuovere il repository GitHub clonato

rm -rf sfguide-tasty-bytes-snowpark-101-for-data-science

Conclusione e fasi successive

Conclusione

Fasi successive