Co je Big Data a proč na nich záleží
Big Data označuje datové soubory a datové toky takového objemu, rychlosti a rozmanitosti, že tradiční databázové a analytické nástroje přestávají stačit. Jde o kombinaci technologií, procesů a metodik, která umožňuje sběr, přenos, ukládání, zpracování, správu a zhodnocení dat v masivním měřítku. Smyslem není hromadit data, ale vytvářet měřitelnou hodnotu – lepší rozhodování, automatizaci, nové produkty, optimalizaci nákladů či řízení rizik.
Rozšířená „V“ Big Dat: od 3V k 7V+
- Volume (objem): terabyty až petabyty, v telekomunikacích i exabyty.
- Velocity (rychlost): streamy v reálném čase, události z IoT, webu a sítí.
- Variety (rozmanitost): strukturovaná, polo-strukturovaná (JSON/Avro), nestrukturovaná (logy, audio, obraz).
- Veracity (věrohodnost): kvalita a důvěryhodnost dat, detekce anomálií.
- Value (hodnota): obchodní přínos, KPI, ROI z analytických iniciativ.
- Variability (nestálost): sezónnost, bursty, proměnlivé schéma.
- Visibility (viditelnost): dohledatelnost a pozorovatelnost datových toků (lineage, monitoring).
Referenční architektury: data lake, warehouse a lakehouse
Moderní datové platformy skládají více paradigmat:
- Data Warehouse (DWH): kurátorské, vysoce strukturované prostředí pro reporting, BI a finanční konsolidaci.
- Data Lake: škálovatelné úložiště surových a polo-zpracovaných dat na objektovém storage; ideální pro data science a strojové učení.
- Lakehouse: sjednocení obou světů – ACID tabulky na objektovém storage, separace výpočtu a úložiště, transakční vrstvy (tabulkové formáty) a přímý přístup BI i ML nástrojů.
Datové toky: ETL vs. ELT, batch vs. streaming
- ETL (Extract–Transform–Load): transformace před nahráním do cílového systému; vhodné pro stabilní modely.
- ELT (Extract–Load–Transform): nejprve načtení do jezera/skladu, transformace až v cílové platformě; zrychluje ingest a využívá výkon uložiště.
- Batch zpracování: periodické dávky (minuty až dny), typicky pro účetnictví, reporting, historické agregace.
- Stream zpracování: událostně orientované pipelines s nízkou latencí pro detekci podvodů, telekomunikační signalizaci, monitoring sítí, web tracking.
- Lambda architektura: paralelní batch a speed vrstva, sjednocení ve vrstvě servírování.
- Kappa architektura: primárně streaming; batch je speciální případ přehrání streamu.
Úložiště a formáty: základy škálování
- Distribuované úložiště: objektové (S3-kompatibilní), HDFS, cloudové blob storage; důraz na trvalost a verze.
- Sloupcové formáty: Parquet, ORC pro analytické dotazy a kompresi.
- Schémově orientované formáty: Avro, Protobuf pro streaming a kontrakty nad událostmi.
- Transakční vrstvy tabulek: implementace s ACID vlastnostmi, time travel, vakuum a správa malých souborů.
- Indexace a vyhledávání: fulltextové a vektorové indexy pro logy, observabilitu a vyhledávání podobnosti.
Výpočetní vrstvy a zpracování
- Distribuované výpočetní enginy: dávkové i streamové zpracování, iterativní ML, SQL nad velkými objemy.
- Stream processing: event-time semantika, okna (tumbling, sliding, session), exactly-once záruky.
- Orchestrace a workflow: DAG orchestrace, restartovatelnost, SLA, backfill, parametrizace.
- Messaging a sběr logů: event bus, commit log, partitioning, retence, consumer groups.
- BI a ad-hoc SQL: federované dotazy, datové marty, semantic layer.
Řízení dat (Data Governance) a katalogizace
- Data Catalog: centrální evidence datových sad, popisy, vlastnictví, klasifikace citlivosti.
- Lineage: trasování původu od zdrojů přes transformace po reporty; nezbytné pro audit a dopadové analýzy.
- Schéma a kontrakty: schema registry, řízení kompatibility (backward/forward), verze událostí.
- Data Stewardship: odpovědnosti za domény dat (finance, telekomunikační síť, CRM, webová analytika).
Bezpečnost, soukromí a compliance
- Autentizace a autorizace: RBAC/ABAC, princip minimálních oprávnění, just-in-time přístup.
- Šifrování: „at rest“ i „in transit“, správa klíčů, rotace a audity.
- Maskování a tokenizace: pseudonymizace, dynamické maskování ve vrstvách servírování.
- Privacy-by-design: minimalizace, účelové vázání, retenční politiky, řízení souhlasů.
- Techniky ochrany soukromí: k-anonymita, l-diverzita, t-closeness, diferencované soukromí v agregacích.
- Regulace: GDPR, ePrivacy, sektorové normy (telekomunikace, finance), data residency a přenosy.
Kvalita dat a observabilita
- Testy kvality: úplnost, jedinečnost, konzistence, doménová pravidla, referenční integrita.
- Profilace a monitoring: metriky driftu, změny distribucí, objemové anomálie, latence pipeline.
- Incident management: alerting, runbooky, kořenové příčiny, SLO/SLI.
ML/AI nad Big Data: MLOps a feature store
- Feature Store: sdílené rysy pro trénování a inferenci, offline/online parita.
- Experiment tracking: metriky, artefakty, reprodukovatelnost.
- Model registry a nasazení: verze modelů, A/B a shadow deploy, canary rollout.
- Monitorování modelů: výkon, datový a konceptuální drift, správa zpětné vazby.
FinOps a řízení nákladů datové platformy
- Separace výpočtu a úložiště: možnost vypínat clustery a škálovat podle zátěže.
- Tiering a životní cyklus: horká/teplá/studená data, archivace, komprese, TTL.
- Optimalizace dotazů: partition pruning, z-indexování, materiálizované pohledy, cache.
- Chargeback/Showback: nákladová transparentnost napříč týmy a doménami.
On-premises vs. cloud vs. hybrid a edge
- On-prem: plná kontrola, nižší variabilní náklady při stabilní zátěži, vyšší kapitálové výdaje a provozní složitost.
- Cloud: rychlá adopce, elasticita, bohatý ekosystém služeb, důraz na řízení nákladů a bezpečnostní sdílený model.
- Hybrid a multicloud: compliance, mitigace vendor lock-in, datová gravitace; vyžaduje standardizaci a automatizaci.
- Edge computing: předzpracování blízko zdroje (IoT, BTS stanice), filtrování šumu, lokální inference.
Use-casy v IT, webu, telco a sítích
- Web a e-commerce: clickstream analytics, doporučování obsahu/produktů, real-time personalizace a A/B testování.
- Telekomunikace: analýza CDR a signalizace, optimalizace rádiové sítě, detekce výpadků, řízení kapacity a QoS.
- Bezpečnost sítí: korelace logů, SIEM, detekce anomálií, threat hunting nad velkými objemy.
- IoT a průmysl: prediktivní údržba, sledování strojů, digitální dvojčata.
- Finanční služby: antifraud scoring, KYC/AML, kreditní riziko v reálném čase.
- Média a reklama: atribuční modely, měření kampaní napříč kanály, clean rooms.
Datová doménovost a Data Mesh
Velké organizace přecházejí k doménově řízeným datovým produktům. Týmy vlastní data end-to-end, poskytují je formou self-serve produktů se smluvenými SLA, dokumentací a rozhraními. Centrální platforma stanovuje standardy (bezpečnost, katalog, observabilitu) a snižuje bariéry adopce.
Interoperabilita a sémantická vrstva
- Dimenzionální modelování a data marty: konzistentní metriky pro BI.
- Sémantická vrstva: jednotné definice metrik, řízený přístup a governance napříč nástroji.
- Open standardy: deklarativní definice transformací, verzování pipeline, testy a dokumentace jako kód.
Výkonnost a škálování v praxi
- Partitioning a clustering: volba klíčů podle dotazů a časových řezů.
- Small files problem: kompakce, ztučnění datových souborů, sjednocení souborové granularitiy.
- Resource management: izolace workloadů, fronty, přidělení CPU/RAM/IO, limitace paralelismu.
- Cache a indexy: akcelerace opakovaných dotazů a interaktivní analytiky.
Checklist pro návrh Big Data platformy
- Definujte obchodní cíle a KPI (např. snížení latence detekce incidentu na < 60 s).
- Zmapujte zdroje dat, jejich frekvenci, citlivost a požadavky na kvalitu.
- Zvolte architekturu (DWH, lake, lakehouse) a strategii ETL/ELT.
- Nastavte governance – katalog, klasifikaci, schémata, lineage, role a odpovědnosti.
- Navrhněte bezpečnost a compliance včetně retenčních politik a auditů.
- Vybudujte observabilitu – metriky kvality, latence, nákladů a kapacit.
- Standardizujte datové kontrakty a CI/CD pro pipeline, testy jako kód.
- Zajistěte FinOps – rozpočty, alerty, optimalizaci dotazů a životní cyklus dat.
- Definujte ML/AI strategii – feature store, experiment tracking, monitoring modelů.
- Plánujte škálování – izolace workloadů, tiering, politiku kompakce a optimalizace.
Typické chyby a jak se jim vyhnout
- Data swamp: jezero bez kurátorství a katalogu – řeší governance, standardy a ownership.
- Předčasná optimalizace: micro-tuning bez jasných KPI; nejdříve měřit, pak optimalizovat.
- Vendor lock-in bez strategie: používejte otevřené formáty, definujte exportní cesty.
- Ignorování nákladů: chybějící FinOps vede k „cloud bill shock“ – nastavte limity a alerty.
- Nedostatečné zabezpečení: absence šifrování a řízení přístupu, chybějící auditní stopy.
Příkladové scénáře architektur
- Reálný čas v telekomunikacích: ingest signalizačních událostí do message busu, streamové obohacování (lokace, metadata cell-tower), ukládání do lakehouse tabulek, detekce výpadků < 30 s, dashboardy NOC.
- Webová analytika a personalizace: clickstream → streaming ETL → feature store → online doporučování, offline evaluace a A/B testy v BI.
- Bezpečnostní log management: sběr logů, normalizace, obohacení threat intel, detekce anomálií a korelace v řádu sekund, dlouhodobá archivace s nízkými náklady.
Organizační aspekty: týmy a kompetence
- Data Engineering: pipeline, kvalita, orchestraci, nástroje a standardy.
- Analytics & BI: semantic layer, reporting, self-service, definice metrik.
- Data Science & MLOps: modely, feature store, nasazení a monitoring.
- Platform Engineering: infrastruktura, bezpečnost, náklady, spolehlivost.
- Data Stewardship: vlastnictví doménových dat, dokumentace a kvalita.
Budoucí trendy v Big Data
- Reálný čas jako standard: event-driven architektury a nízká latence zpracování.
- Federované učení a analytika zachovávající soukromí: sdílení modelů místo dat.
- Sjednocená sémantická vrstva: metriky jako produkt a governance-as-code.
