Technologie

Deep learning pro obraz a řeč

Lukáš Kroc 0

Proč deep learning změnil rozpoznávání obrazu a řeči

Deep Learning (DL) zásadně proměnil počítačové vidění i automatické rozpoznávání řeči (ASR). Od roku 2012 zaznamenáváme dramatický skok v přesnosti díky konvolučním sítím (CNN), rekurentním a později transformačním architekturám (Transformers). Klíčovou roli hraje schopnost učit se hierarchické reprezentace přímo z dat, efektivní využití GPU/TPU, masivních datasetů a metod sebeřízeného učení. Následující text systematicky shrnuje architektury, tréninkové postupy, metriky, nasazení, rizika i trendy jak pro obraz, tak řeč.

Historie a milníky

  • Vidění: LeNet (ručně psané číslice) → AlexNet (průlom na ImageNet) → VGG/ResNet (hloubka a skip connection) → EfficientNet (škálování) → Vision Transformers (ViT) a hybridy (ConvNeXt).
  • Řeč: Přechod od GMM-HMM k DNN akustickým modelům → LSTM/BLSTM → CTC a Attention seq2seq → RNN-Transducer a Conformer (konvoluce + self-attention) → velké multimodální modely (audio-text).
  • Učení bez dohledu: kontrastní učení (SimCLR, MoCo), masked predikce (MAE pro obraz, wav2vec 2.0/Hubert pro řeč).

Architektury pro obraz: od CNN k Transformerům

  • CNN: lokální receptivní pole, sdílení vah, inductive bias pro translaci. Vhodné pro klasifikaci, detekci (Faster R-CNN, YOLO, RetinaNet), segmentaci (U-Net, DeepLab).
  • Transformery (ViT, Swin): patch tokenizace, self-attention, globální kontext. Lepší škálování s daty a pretréninkem; často kombinované s konvolucemi.
  • Reprezentace: pro detekci/segmentaci přidáváme feature pyramid networks (FPN), pro dense úlohy dilated konvoluce a deformable attention.

Architektury pro řeč: akustika, jazyk a end-to-end přístup

  • Front-end: log-Mel spektrogramy, MFCC, případně learned front-end (SincNet, Conv front-end) z raw audia.
  • CTC: Connectionist Temporal Classification pro zarovnání bez stopek času; jednoduchý dekodér, vhodné pro robustnost.
  • Seq2Seq s attention: akustický enkodér + attention dekodér (char/wordpiece); vysoce kvalitní při dostatku dat.
  • RNN-Transducer (RNN-T): online schopnost, nízká latence, dobrý kompromis mezi přesností a rychlostí.
  • Conformer: kombinuje konvoluce (lokální závislosti) a self-attention (globální), state-of-the-art pro ASR.
  • Jazykové modely: n-gram → Transformer LM (wordpiece/BPE); shallow/deep fusion s akustickým modelem pro zlepšení WER.

Sebeřízené učení (Self-Supervised Learning, SSL)

  • Obraz: MAE (maskované autoenkodéry), MoCo/SimCLR (kontrastní), BYOL/SimSiam (bez negativních vzorků) zlepšují finetuning pro detekci/segmentaci.
  • Řeč: wav2vec 2.0/Hubert učí univerzální akustické reprezentace z neoznačeného audia; zásadní pro jazyky s nízkým počtem znaků.
  • Výhoda: menší závislost na anotacích, lepší doménová generalizace (šum, akcenty, různé mikrofony/kamery).

Data, augmentace a balancování

  • Augmentace obrazu: RandomCrop/Flip, ColorJitter, Cutout/CutMix/MixUp, RandAugment/TrivialAugment. Pro detekci mosaic, multi-scale.
  • Augmentace audia: SpecAugment (maskování v čase/frekvenci), přidání šumu a dozvuku (RIR), posun rychlosti/pitche; room simulation pro robustnost.
  • Kurátorství dat: řešení class imbalance reweightingem, samplingem, focal loss; deduplikace, hard example mining.

Ztrátové funkce a cíle učení

  • Klasifikace: cross-entropy, label smoothing; při nevyváženosti focal loss.
  • Detekce: kombinace klasifikační (CE/focal) a regresní (L1/GIoU/DIoU/CIoU) ztráty.
  • Segmentace: CE + Dice/Jaccard, případně Tversky pro minoritní třídy.
  • ASR: CTC loss, transducer loss, cross-entropy pro attention dekodér; kombinace multitaskingem (CTC+attention).

Metriky hodnocení

Doména Úloha Metrika Popis
Obraz Klasifikace Top-1/Top-5 Podíl správně klasifikovaných vzorků
Obraz Detekce mAP@[.5:.95] Průměrná přesnost přes IoU prahy a třídy
Obraz Segmentace mIoU/Dice Průměr přes třídy, překryv masek
Řeč ASR WER/CER Word/Character Error Rate = (S+D+I)/N
Řeč Keyword spotting ROC-AUC, F1 Obchod mezi TPR/FPR

Tréninkové techniky a škálování

  • Optimalizace: AdamW, LAMB, cosine decay, warmup; gradient clipping pro stabilitu.
  • Regularizace: dropout, stochastic depth, weight decay, label smoothing.
  • Škálování: data/model/pipeline paralelizace, mixed precision (FP16/BF16), ZeRO/FS sharding; checkpointing.
  • Hyperparametrický tuning: bayesovská optimalizace, ASHA (pruning), population based training.

Nasazení na edge a v reálném čase

  • Optimalizace: kvantizace (post-training/aware), prořezávání (pruning), distilace znalostí; export ONNX/TensorRT/CoreML.
  • Latence: streaming ASR (RNN-T/Conformer streaming), causal attention; vizuální modely s early exit.
  • Energetika: rozdělení mezi edge a cloud (split computing), adaptive bitrate pro video, sparsity.

Pipeline rozpoznávání obrazu

  1. Získávání (kamery, kamerové parametry, HDR, stabilizace) + privacy masking.
  2. Předzpracování: resize, normalizace, augmentace; u videa odšumění a detekce scén.
  3. Inference: klasifikace/detekce/segmentace; postprocessing (NMS, multi-object tracking, kalibrace skóre).
  4. Výstup: metriky, vizualizace overlay, API (REST/gRPC), eventy.

Pipeline ASR a hlasová analytika

  1. Audio I/O: VAD (Voice Activity Detection), AEC (potlačení ozvěny), AGC (automatická regulace úrovně).
  2. Extrahování příznaků: log-Mel, frame stacking, normalizace (CMVN).
  3. Model: CTC/Transducer/Attention (Conformer); jazykový model ve fusion.
  4. Dekódování: beam search, tokenizace (BPE), hotword boosting.
  5. Postprocessing: interpunkce, normalizace čísel a zkratek, diarizace (pyannote x-vectors).

MLOps a provozní excelence

  • DataOps: verze dat (DVC/LakeFS), datové kontrakty, drift monitoring (covariate/prior).
  • Trénink: reprodukovatelnost (seed, determinismus), feature store, registr artefaktů (model registry).
  • Nasazení: canary/blue-green, A/B testy, shadow inference; feature flags.
  • Monitoring: SLI (latence, WER, mAP), concept drift, data quality; alerting a automatický rollback.

Robustnost, bezpečnost a etika

  • Doménová robustnost: test-time augmentation, batch norm adaptation, few-shot adaptace.
  • Adversariální odolnost: adversariální trénink, input sanitization, certifikované obrany pro bezpečnostně kritické aplikace.
  • Bias a fairness: audit napříč demografiemi (WER podle akcentu/pohlaví), re-weighting, sběr reprezentativních dat.
  • Soukromí: anonymizace obrazu/hlasu, federated learning, differential privacy.
  • Compliance: logování rozhodnutí, vysvětlitelnost (saliency, SHAP), správa souhlasů.

Multimodální učení: obraz × řeč × text

  • Audio-Visual Speech Recognition (AVSR): fúze rtů (lip-reading) a audia pro robustnost v šumu.
  • Vision-Language: CLIP/ALIGN (kontrastní pretrénink) → zlepšený zero-shot výkon u klasifikace a vyhledávání.
  • Multimodální transkripce a titulkování: spojení ASR s detekcí scén a OCR pro kompletní popis videa.

Příklady doménových aplikací

  • Průmysl: vizuální inspekce (detekce defektů), prediktivní údržba s akustickou diagnostikou.
  • Zdravotnictví: segmentace lézí, ASR pro diktování zpráv s terminologickým jazykovým modelem.
  • Automotive: vnímání scény (detekce/segmentace), hlasové ovládání v kabině s nízkou latencí.
  • Bezpečnost: diarizace a keyword spotting, eticky omezené identifikační systémy s privacy-by-design.

Výběr modelu a provozní kompromisy

Kritérium Obraz – příklad Řeč – příklad Dopad
Přesnost ViT-L/14 vs. ResNet-50 Conformer-L vs. RNN-T small Vyšší přesnost = vyšší nároky na trénink a hardware
Latence YOLOv8n (edge) Streaming RNN-T Nutné optimalizace (INT8, TensorRT)
Data náročnost SSL MAE + finetuning wav2vec 2.0 + jazykový LM Šetří anotace, vyžaduje pretrénink
Interpretovatelnost Grad-CAM pro CNN Attention váhy, fonémové zarovnání Audit, ladění a compliance

Checklist pro produkční nasazení

  • Máte vyvážená a kurátorovaná data (výkon podle domén/akcentů/tříd)?
  • Je pipeline deklarativní (IaC + MLOps) s automatickými testy a CI/CD?
  • Proběhl test robustnosti (šum, slabé osvětlení, pohyb, OOD vstupy)?
  • Běží monitoring SLI/SLO (latence, WER/mAP, dostupnost) a alerty?
  • Jsou pokryty audity bezpečnosti (SBOM, podpisy modelů), privacy a fairness?
  • Existuje plán na rollback, canary a testy DR pro modelové služby?

Trendy a budoucnost

  • Foundation/Frontier multimodální modely s cross-task generalizací a instruction tuningem.
  • Self-supervised + few-shot adaptace do nových domén, continual learning bez zapomínání.
  • On-device AI s akcelerátory (NPU), kvantizace na 4–8 bitů bez výrazné ztráty kvality.
  • Neurální kodeky a discrete units (HuBERT k-means) pro efektivní audio reprezentaci a symbiózu TTS/ASR.

Závěr

Deep Learning sjednotil rozpoznávání obrazu i řeči pod společné principy: silné reprezentace, škálovatelné architektury a datově řízené učení. Úspěch v praxi stojí na kvalitní datové logistice, správně zvolených metrikách, disciplíně MLOps a zodpovědném přístupu k bezpečnosti a soukromí. Kombinací sebeřízeného pretréninku, vhodných architektur (ViT/Conformer) a produkčních optimalizací (kvantizace,

Lukáš Kroc

Website:

Related Story