Co jsou ETL procesy a proč jsou zásadní pro Data Warehousing
ETL (Extract–Transform–Load) je soubor procesů, kterými se data získávají ze zdrojových systémů, transformují do konzistentní podoby a nahrávají do cílového úložiště (datového skladu, lakehouse, marts). Kvalita a spolehlivost ETL přímo ovlivňuje spolehlivost reportingu, rychlost analytiky a důvěru v data. Moderní platformy rozšiřují pojem ETL o ELT (transformace po nahrání) a hybridní přístupy, které využívají výpočetní výkon cílového enginu (MPP/SQL, Spark) pro škálování.
ETL vs. ELT: kdy použít který přístup
| Aspekt | ETL (transformace před nahráním) | ELT (transformace po nahrání) |
|---|---|---|
| Výpočetní zátěž | Na integračním serveru/enginu | Na cílovém DWH/jezeru (SQL/MPP/Spark) |
| Flexibilita schématu | Pevně definované mapování | Schema-on-read, rychlé iterace |
| Náklady | Vyšší na integrační vrstvě | Lepší využití škálovatelného výpočetního výkonu |
| Governance | Silná kontrola vstupů | Silná auditovatelnost v tabulkové vrstvě |
| Use-case | Legacy zdroje, omezená šířka pásma | Cloud, velké objemy, rychlé prototypy |
Referenční architektura datového zpracování
- Zdrojové systémy: OLTP databáze, aplikace (ERP/CRM), soubory, API, event streamy.
- Ingest/staging: surová vrstva (raw/bronze) pro bezztrátový příjem dat bez transformací, často s append-only politikou.
- Transformační vrstva: normalizace, sjednocení typů, konformní dimenze, business logic (silver).
- Prezentace/serving: hvězdicová schémata, datové marty, semantic layer (gold).
- Řídicí a podpůrné služby: metadata katalog, lineage, kvalita dat, orchestrace, monitoring, bezpečnost.
Extract: způsoby získávání dat (batch, CDC, streaming)
- Plné dávky (full load): kompletní vyčtení datasetu, vhodné pro malé tabulky nebo inicializaci.
- Inkrementální zátahy: watermark podle
updated_at, identifikace změn pomocí Change Data Capture (CDC) – logy transakcí, binlog, redo log, triggery. - Streaming ingest: eventy z integračních platforem (např. Kafka), event-carried state, webhooky, IoT telemetrie.
- Formáty a přenos: CSV/Parquet/Avro/JSON, komprese, šifrování, idempotentní přenosy a checkpointing.
Staging: surová data a kontrakty
- Bezztrátové uložení: ukládat přesně, jak data dorazila (včetně envelope metadat). Zachovat origin timestamp, zdroj, ingestion id.
- Kontrakty dat: definice schémat (Avro/Protobuf), kompatibilita verzí (backward/forward), řízené změny.
- Kontroly kvality při příjmu: validace schémat, rozsah hodnot, unikátní klíče, detekce duplicit (natural vs. surrogate key).
Transformace: typy a pořadí kroků
- Čištění (cleansing): trimování, normalizace diakritiky, standardizace kódů (ISO, číselníky), opravy datových typů.
- Obohacení (enrichment): doplnění geokódů, kurzů, referenčních dat, data augmentation.
- Konformita: mapování na konformní dimenze (customer, product), sjednocení granularit a jednotek měr.
- Business logika: výpočet metrik, derivované sloupce, alokace, zpracování late arriving facts.
- Historizace: implementace SCD typů pro dimenze, audit trail.
Pomalu se měnící dimenze (SCD) a faktové tabulky
- SCD Type 1: přepis hodnot (bez uchování historie). Jednoduché, ale ztrácí minulost.
- SCD Type 2: historizace pomocí
valid_from,valid_to,is_current, případně hash diff pro detekci změn. - SCD Type 3: omezená historie v několika sloupcích (např. previous_value).
- Fakta: aditivní/semiaditivní, granularita (den, transakce, položka), cizí klíče do dimenzí, degenerate klíče (např. číslo objednávky).
CDC: detekce a aplikace změn
-- Pseudokód MERGE pro aplikaci CDC do dimenze (SCD2) MERGE INTO dim_customer d USING stage_customer s ON d.natural_key = s.natural_key AND d.is_current = TRUE WHEN MATCHED AND HASH(d.cols) != HASH(s.cols) THEN UPDATE SET d.valid_to = s.change_ts, d.is_current = FALSE WHEN NOT MATCHED THEN INSERT (sur_key, natural_key, cols..., valid_from, valid_to, is_current) VALUES (NEXTVAL(), s.natural_key, s.cols..., s.change_ts, '9999-12-31', TRUE); - Log-based CDC: spolehlivé, s minimálním dopadem na zdroj; vyžaduje přístup k transakčním logům.
- Trigger-based CDC: jednodušší z hlediska oprávnění, avšak s vyšším dopadem na OLTP systémy.
- Timestamp-based: levné řešení, náchylné k vynechání změn při nekonzistenci hodin; doporučuje se používat s watermark rezervou.
Datové modelování v DWH: hvězdice, sněhová vločka, Data Vault
- Star schema: fakta uprostřed, konformní dimenze; jednoduché pro BI, rychlé dotazy.
- Snowflake: normalizované dimenze (referenční tabulky); úspora místa, složitější joiny.
- Data Vault 2.0: hub–link–satellite, auditovatelný a adaptabilní model vhodný pro historizaci a časté změny zdrojů; vyžaduje prezentační vrstvu pro BI.
Výkon ETL/ELT: partitioning, paralelizace, pushdown
- Particionování: podle data ingestování, podle business key; minimalizace small files (zejména u jezer).
- Paralelismus: rozdělení podle klíčů, work stealing, dávky (micro-batch) pro streamování.
- SQL pushdown: využití MPP/vektorových enginů; minimalizace datových přesunů mezi uzly.
- Incremental MERGE: aktualizace pouze změněných partitivních klíčů; change tables pro minimalizaci I/O operací.
Kvalita dat (DQ): pravidla, měření a řízení výjimek
- Typy pravidel: úplnost (completeness), platnost (validity), konzistence (consistency), přesnost (accuracy), jedinečnost (uniqueness), včasnost (timeliness).
- Implementace: deklarativní testy v pipeline (SQL assertions), samostatná DQ vrstva (profilace, prahové hodnoty p95/p99), anomaly detection.
- Řízení výjimek: karanténa záznamů, ticketing, správa datových stewardů, feedback loop do zdrojových systémů.
Metadata, katalog a lineage
- Technická metadata: schémata, datové typy, lineage graf (sloupec->sloupec), plánovače a DAG závislosti.
- Biznisová metadata: definice metrík, vlastníci, SLA/SLO, klasifikace (PII, citlivost).
- Aktualizace a governance: automatizovaný harvesting, CI/CD validace změn schémat, workflow pro revize.
Bezpečnost a compliance v ETL
- Šifrování: in-transit (TLS), at-rest (TDE, KMS), selektivní šifrování sloupců.
- Maskování a pseudonymizace: deterministická vs. náhodná, tokenizace; úrovně zabezpečení na úrovni řádků a sloupců v prezentační vrstvě.
- Audit a dohledatelnost: auditní logy transformací, kdo/kdy/co, datové kontrakty pro producenty a konzumenty.
Orchestrace a provoz: plánování, retry, idempotence
- DAG orchestrace: závislosti úloh, časově i událostně řízené spouštěče, parametrizace.
- Idempotence: možnost bezpečné opakované exekuce (zámky, upsert/merge, insert overwrite partice, checkpointy).
- Retry strategie: exponenciální zpoždění, fronty dead-letter pro zprávy, circuit breaker u nestabilních zdrojů.
- Monitoring: metriky (průtok, latence, chybovost), SLIs/SLOs, alerty na zpoždění a porušení kvality dat.
Testování ETL/ELT: od jednotek po end-to-end
- Jednotkové testy transformací: deterministické vstupy/výstupy, hraniční hodnoty, zacházení s null hodnotami.
- Testy kontraktů: simulace změn schématu zdrojů; validace kompatibility.
- Data diffs: reconciliation vůči zdrojům (počty, součty, kontrolní součty), vzorkování řádků.
- Výkonnostní testy: škálování, backfill scénáře, degradace výkonu při zvyšujících se objemech.
Vrstvení v lakehouse: bronze, silver, gold
- Bronze: syrová data, append-only, auditování po stopách změn.
- Silver: vyčištěná a harmonizovaná data, klíče, referenční integrita, deduplikace.
- Gold: byznysové datové marty, předagregace, semantic models pro BI/AI.
Typické transformační patterny (SQL)
-- Deduplikace podle klíče s preferencí nejnovější změny
SELECT * FROM (
SELECT t.*, ROW_NUMBER() OVER (PARTITION BY business_key ORDER BY updated_at DESC) AS rn
FROM silver.orders t
) x
WHERE rn = 1;
-- Konformní dimenze: normalizace kódu země
UPDATE dim_customer
SET country_code = UPPER(TRIM(country_code))
WHERE country_code IS NOT NULL AND country_code != UPPER(TRIM(country_code));
Chyby a anti-patterny v ETL
- Skrytá business logika ve skriptech: bez dokumentace a testů → neauditovatelné změny.
- Přílišná závislost na časových oknech: místo deterministických watermarků a CDC.
- Small files problém: mnoho drobných souborů v jezeru → degradace výkonu.
- Nedostatečná idempotence: opakované spuštění vede k duplikacím a nekonzistenci dat.
Výběr nástrojů a platforem
- Orchestrace: nástroje s DAG (Airflow, Dagster, Prefect).
- Transformace: SQL-first (dbt), MPP systémy (Snowflake, BigQuery, Redshift), Spark/Databricks pro škálované ELT procesy.
- Ingest/CDC: konektory (Fivetran, Hevo), open-source řešení (Debezium), integrační bus (Kafka, Connect).
- Kvalita a katalog: Great Expectations, Deequ, DataHub/Amundsen/Atlas.
Spotřeba zdrojů a nákladový model
- Optimalizace výpočetních zdrojů: cluster sizing, autoscaling, spot/preemptible uzly pro backfill operace.
- Úložiště: formáty s kompresí a statistikami (Parquet/ORC), z-ordering/clustering pro rychlé prunování dat.
- FinOps: měření nákladů per job/tabulku, chargeback/
