Proč cloudová řešení pro Big Data
Cloud poskytuje elastickou výpočetní i úložnou kapacitu, která se škáluje podle potřeby a je účtována spotřebně. Pro Big Data infrastrukturu to znamená možnost zpracovat enormní objemy dat bez předimenzovaných investic, zkrátit čas uvedení řešení do provozu a sjednotit nástroje pro ingest, zpracování, analytiku, strojové učení i správu dat. Klíčovými principy jsou separační architektura storage/compute, automatizace, observabilita, řízení nákladů a data governance.
Referenční architektura: datové jezero a lakehouse
Dominantním vzorem je data lake v objektovém úložišti doplněný o lakehouse vrstvu (otevřené tabulkové formáty, transakce, ACID), která umožňuje korigovat slabiny klasických jezer (kvalita schémat, transakční konzistence, time travel).
- Data Lake (S3/GCS/ABFS): surová a kurátorovaná data ve formátech Parquet/ORC/Avro.
- Lakehouse: Delta Lake, Apache Iceberg nebo Apache Hudi přidávají transakční log, snapshoty, klonování a efektivní aktualizace/merge.
- Metastore/Katalog: Hive Metastore, Glue Data Catalog nebo jednotný katalog (např. Unity Catalog) pro schémata, přístupová práva a lineage.
- Dotazovací/compute vrstva: Spark, Trino/Presto, serverless SQL enginy a služby data warehousingu.
Úložiště: objektové, souborové a tabulkové vrstvy
- Objektové storage: vysoká trvanlivost, nízké náklady, škálovatelné I/O; třídy (standard, infrequent access, archival) pro tiering.
- Souborové/POSIX vrstvy: distribuované souborové systémy pro specifické úlohy (POSIX závislé aplikace, dočasné cache pro ETL).
- Tabulkové formáty: Parquet/ORC pro kolonární kompresi; otevřené tabulky (Delta/Iceberg/Hudi) pro ACID a evoluci schématu.
- Optimalizace layoutu: partitioning, clustering (Z-Order/Hash), kompakce malých souborů a správa metadat.
Ingest a streaming: od dávky po real-time
- Batch ingest: dávkové nahrávání přes ETL/ELT (Spark, serverless kopírování, CDC z databází).
- Streaming: Kafka/Pulsar, cloudové pub/sub služby, stream processing (Flink, Spark Structured Streaming) s přesnými zárukami doručení.
- CDC (Change Data Capture): Debezium, log-based ingest z OLTP do jezera/warehouse s nízkou latencí.
- IoT edge: brány s lokální agregací, bufferingem a bezpečným přenosem do cloudu.
Zpracování dat: Spark, SQL enginy a serverless
- Distribuované výpočty: Apache Spark pro ETL, strojové učení a SQL; běh na spravovaných službách či Kubernetes s autoscalingem.
- Interaktivní/ad-hoc SQL: Trino/Presto pro federované dotazy nad jezerem; serverless SQL (např. dotazy přímo nad objekty).
- Data warehousing: elastické sklady (kolonární storage, separace compute/storage, automatický scale-out, materializované pohledy).
- Orchestrace: Airflow/Cloud Composer/MWAA, případně deklarativní DAGy a event-driven pipeline (Functions/Lambda + orchestrace kroků).
Lakehouse versus Data Warehouse: komplementarita
Lakehouse sjednocuje polostrukturovaná/nestrukturovaná data a pokročilé transformace, zatímco data warehouse exceluje v konzistentních BI modelech a stabilních SLA pro reporting. Prakticky: bronze–silver–gold (medailonová) architektura v jezeře, přičemž gold může být servírováno buď prostřednictvím otevřených tabulek (SQL engine) nebo nahráváno do skladiště pro kritické dashboardy.
Modelování a řízení kvality: schéma, DQ a lineage
- Evoluce schématu: řízené schema-on-read/write, kompatibilita typů a validace při zápisu.
- Kvalita dat (Data Quality): pravidla úplnosti, jedinečnosti, referenční integrity, business validací (Great Expectations/Deequ) s automatickými metrikami.
- Lineage: sběr datových toků (OpenLineage) pro auditovatelnost, dopadové analýzy a řízení změn.
Bezpečnost a governance: IAM, šifrování a řízení přístupu
- IAM: princip nejmenších oprávnění, workload identity, krátkodobé tokeny; oddělení rolí (data owner, steward, analytik).
- Šifrování: At-Rest (správa klíčů KMS/HSM), In-Transit (TLS), klientské šifrování pro citlivé datasety.
- Row/Column-level security & maskování: dynamická anonimizace, tagování citlivých polí, přístup dle atributů (ABAC).
- Data katalog: centrální inventář, klasifikace, zásady retence a legal hold; workflow pro schvalování přístupů.
Síťování a izolace: VPC, privátní přístupy a multitenance
- Privátní propojení: peering/privátní linky mezi compute a storage, eliminace exfiltrace přes internet.
- Segmentace: izolace prostředí (produkční/testovací/vývojové), oddělené účty/projekty a síťové politiky.
- Datové brány: řízené egressy, DLP inspekce a egress controllery pro citlivé oblasti.
Kontrakty a SDLC pro data (DataOps)
- Datové kontrakty: explicitní SLA/SLO na schémata a latence, verzování a automatizované testy pipeline.
- CI/CD: infrastruktura jako kód (Terraform), pipeline jako kód, canary release transformací, rollbacky tabulek (time travel).
- Observabilita: metriky čerstvosti, objemů, nákladů, chybovosti; alerting a playbooky.
Výpočty na Kubernetes: Spark/Flink operátory a storage konektory
- Spark na K8s: podmané šarže i interaktivní úlohy; dynamic allocation a izolace týmů jmennými prostory.
- Stavové streamy: Flink operátor s checkpointingem do objektového úložiště.
- Konektory: nativní S3/GCS/ABFS klienti, cache vrstvy (Alluxio) pro snížení latence.
ML/AI nad Big Data: feature store a MLOps
- Feature Store: sdílení rysů mezi týmy, offline/online synchronizace, backfills a kontrola verzí.
- Trénink a inferencing: škálovatelné clustery, serverless trénink, distribuované frameworky (Horovod/DeepSpeed) s přístupem k jezeru.
- MLOps: sledování experimentů, model registry, CI/CD modelů, canary a shadow nasazení; governance modelů (bias, drift, audit).
Nákladovost a FinOps: řízení TCO
- Pravá velikost: automatické škálování clusterů, spot/preemptible uzly pro dávkové úlohy, plánování v cenově výhodných oknech.
- Optimalizace I/O: komprese (ZSTD/Snappy), správné velikosti souborů (128–1024 MB), pruning/predicate pushdown.
- Životní cyklus dat: tiering do chladných tříd, archivace, expirační politiky, deduplikace a kompakce.
- Showback/Chargeback: tagování nákladů, rozúčtování podle týmů/datasetů/pipeline.
Spolehlivost, DR a multiregion
- RPO/RTO: verze objektů, cross-region replikace, snapshoty tabulek (Delta/Iceberg), katalog v HA režimu.
- Failover: aktivní–pasivní sklad/compute, DNS a konfigurační přepínače, testy obnovy (chaos engineering pro data).
- Audit a soulady: nezměnitelné logy (WORM), object lock, kryptografické důkazy integrity.
Soukromí a regulace: GDPR a datová rezidence
- Minimalizace dat, pseudonymizace, tokenizace a selektivní šifrování citlivých polí.
- Rezidence: regionální umístění dat, geo-fencing přístupů, exportní kontroly.
- Evidence zpracování: katalog s právním titulem, retenční harmonogramy a automatizované mazání.
Provozní vzory: Lambda, Kappa a Medallion
- Lambda: paralelní batch a stream cesty – vyšší složitost, ale větší flexibilita.
- Kappa: jednotný stream jako zdroj pravdy s reprocessingem z logu; jednodušší údržba.
- Medallion: Bronze (surová), Silver (čištění/standardizace), Gold (business datamarty, publikace).
Standardy interoperability a sdílení dat
- Otevřené formáty: Parquet/ORC/Avro + Arrow pro vektorové přenosy.
- Otevřené tabulky: Delta/Iceberg/Hudi pro ACID, klonování a time travel.
- Data sharing: sdílení bez kopírování mezi účty/regiony (otevřené protokoly jako Delta Sharing, bezpečné odkazy/katalogy).
Kontrolní seznam pro návrh Big Data platformy v cloudu
- Volba otevřeného tabulkového formátu a centralizovaný katalog s governance.
- Architektura ingestu (batch/stream) s CDC a jasnými SLA.
- Compute vrstva pro ETL/ELT, interaktivní SQL a ML; orchestrátor s CI/CD.
- Infra jako kód, sledování kvality a lineage, observabilita a incident response.
- Bezpečnost: IAM, šifrování, RLS/CLS, privátní networking, DLP.
- FinOps: tiering storage, optimalizace I/O, spot/preemptible instance, chargeback.
- DR/HA: verze, replikace, testované RPO/RTO, multiregionální plány.
Závěr: škálovatelná, otevřená a řízená platforma
Cloudová Big Data infrastruktura je úspěšná, pokud kombinuje otevřené formáty a lakehouse principy s automatizovaným provozem, silnou governance a řízením nákladů. Tato kombinace umožní bezpečně a efektivně doručovat analytiku, reporting i AI na datech v petabajtovém měřítku, s rychlým tempem změn a bez uzamčení do proprietárních slepých uliček.
