Trénink a hodnocení modelů

Peter Kráľ

Cíle trénování a evaluace v machine learningu

Trénování modelů ve strojovém učení je proces učení parametrů (resp. i struktur) z dat s cílem minimalizovat chybu či maximalizovat užitek při generalizaci na neviděné vzorky. Evaluace přesnosti pak kvantifikuje kvalitu tohoto učení pomocí metrik, statistických testů a analýz chyb. Klíčovou výzvou je zabránit přeučení, zachovat replikovatelnost a poskytovat spolehlivé odhady výkonu i nejistoty.

Příprava dat: kvalita před kvantitou

  • Čištění a imputace: odstranění či imputace chybějících hodnot (medián/modus, modelově založené metody), detekce anomálií, konsolidace kategorií.
  • Normalizace a škálování: standardizace (z-skóre), min–max škálování, robustní škálování; u neuronových sítí také normalizace vstupů a kategorizace.
  • Feature engineering: doménové transformace, log/Box-Cox transformace, polynomiální interakce, embeddingy; do pipeline, aby nedošlo k úniku informací.
  • Rozdělení dat: trénovací/validační/testovací sady; u časových řad time series split s respektováním kauzality.

Rozdělení a validační strategie

  • Hold-out: jednoduché oddělení (např. 70/15/15); rychlé, ale s vyšším rozptylem odhadu.
  • k-násobná křížová validace: stabilnější odhady; u nevyvážených tříd stratifikovat.
  • Nested cross-validation: korektní výběr hyperparametrů bez optimism bias (vnitřní smyčka pro ladění, vnější pro odhad výkonu).
  • TimeSeries CV: postupné rozšiřování oken (expanding/rolling), žádné prolínání budoucnosti do minulosti.

Trénovací cíle a ztrátové funkce

  • Klasifikace: log-loss (NLL), hinge loss, focal loss (pro nevyváženost), Brier score (kalibrace pravděpodobností).
  • Regrese: MSE (citlivé na odlehlé hodnoty), MAE (robustnější), Huber loss, quantile loss (pro predikci kvantilů).
  • Pořadí/ranking: pairwise/listwise loss (LambdaRank, ListNet) při optimalizaci NDCG/MAP.
  • Generativní/NLP/vision: křížová entropie, Dice/IoU pro segmentaci, FID/KID pro kvalitu generovaných obrazů, BLEU/ROUGE/METEOR/BERTScore pro text.

Optimalizace a regulace modelu

  • Optimalizátory: SGD s momentum, Adam/AdamW, RMSProp; learning-rate schedule (cosine, step, one-cycle).
  • Regularizace: L2 (weight decay), L1 (sparzita), early stopping, dropout, data augmentation, mixup/cutmix.
  • Bagging/boosting: Random Forest, Gradient Boosting (XGBoost/LightGBM/CatBoost), stacking/ensambling.
  • Kalibrace: Plattova regrese, isotonic regression, teplotní škálování pravděpodobností.

Ladění hyperparametrů

  • Grid/Random search: jednoduché baseline strategie; random search bývá efektivnější při vysoké dimenzionalitě.
  • Bayesovská optimalizace: Gaussian Processes, Tree-structured Parzen Estimators (TPE); vzorkování slibných oblastí prostoru.
  • Hyperband/ASHA: adaptivní alokace výpočetního rozpočtu, multi-fidelity hodnocení (časné zastavení slabých kandidátů).
  • Praktiky: definovat search space s logaritmickými škálami; měřit na křížové validaci; pečlivě logovat experimenty (mlflow, wandb).

Metodiky prevence úniku informací (data leakage)

  • Používat pipeline: fit/transform pouze na trénovacích datech v rámci CV foldů.
  • Nesdílet statistiky (škálování, imputace, selekce rysů) mezi trénovací a validační/testovací sadou.
  • Pečlivě nakládat s target encodingem (out-of-fold schéma); dávat pozor na časové závislosti.

Metriky klasifikace a jejich interpretace

  • Přesnost (Accuracy): vhodná při vyvážených třídách; zavádějící u vzácných událostí.
  • Precision, Recall, F1: kompromis mezi falešně pozitivními a negativními; macro/micro/weighted agregace.
  • ROC-AUC: nezávislá na rozhodovacím prahu, ale může nadhodnocovat výkon u nesymetrických nákladů; PR-AUC vhodnější u vzácných událostí.
  • Confusion matrix a cost-sensitive metriky: očekávané náklady, optimalizace prahu dle byznysových KPI.

Metriky pro regresi a pravděpodobnostní výstupy

  • RMSE/MAE: chyby v jednotkách cílové proměnné; MAE je robustnější vůči odlehlým hodnotám.
  • R²: podíl vysvětlené variability; interpretovat s opatrností mimo lineární kontext.
  • NLL/Brier score: kvalita pravděpodobností; kalibrační křivky a reliabilitní diagramy.
  • Pinball loss a Winkler score pro kvantilové a intervalové predikce.

Nastavení rozhodovacího prahu a cost-sensitive učení

  • Optimalizace prahu na validačních datech podle F1, Youdenova indexu, nebo podle očekávaného zisku/ztráty.
  • Kostní matice (náklady za chybnou klasifikaci), váhování tříd, focal loss a řízený sampling (SMOTE, undersampling).

Nejistoty, intervaly spolehlivosti a statistická významnost

  • Intervaly: bootstrap nad vzorky či foldy (percentilové, BCa metody), Wilsonovy intervaly pro přesnost.
  • Testy: párový t-test/McNemar (závislé odhady), randomizované permutační testy; dávat pozor na závislosti mezi foldy.
  • Analýza stability: variabilita metrik napříč splitty/foldy, robustnost modelu vůči šumu.

Analýza chyb a diagnostika modelu

  • Segmentace výkonu podle skupin (věk, region, třída produktu) – identifikace slabin a biasů.
  • Learning curves: výkon vs. velikost dat (pod/overfitting), odhad přínosu dalšího sběru dat.
  • Confusion-driven review: audit FP/FN se zpětnou vazbou pro feature engineering nebo opravou labelů.
  • Explainability: SHAP/Permutation importance, partial dependence, ablace rysů.

Trénink ve velkém měřítku

  • Distribuované učení: data/model paralelismus, ZeRO, gradient checkpointing, mixed precision (FP16/bfloat16).
  • Check-pointing a early stopping s triggery na validační metrice; ReduceLROnPlateau.
  • Regularizační techniky: label smoothing, stochastic depth, weight averaging (SWA), EMA vah.

Fairness, bias a robustnost

  • Fairness metriky: demographic parity, equalized odds, equal opportunity; měření podle skupin.
  • Robustnost: odolnost vůči šumu/OOD vzorkům, test-time augmentation; adversariální testy podle domény.
  • Kalibrace napříč skupinami: reliabilitní křivky per segment, rekalibrace.

Drift, OOD detekce a monitoring v produkci

  • Data drift (změny v P(x)) a koncept drift (změny v P(y|x)): PSI/KL divergence, porovnání rozdělení rysů/reziduí.
  • OOD detekce: detektory hustoty, Mahalanobisova vzdálenost, ensembling/MC Dropout pro kvantifikaci nejistoty.
  • Monitoring: metriky výkonu, business KPI, latence, využití zdrojů; zpětné získávání labelů a retréninkové cykly.

Reprodukovatelnost a MLOps

  • Seeds a determinismus: fixace náhodnosti (numpy/TF/PyTorch), kontrola determinismu PSL/BLAS operací.
  • Provenience: verzování dat a kódu, artefakty modelů, závislosti zamknuté v prostředí (poetry/conda-lock).
  • Experiment tracking: parametry, metriky, grafy učení, registry modelů; CI/CD pro trénink i nasazení.
  • Dokumentace: datasheety modelů, model cards, rizika a omezení.

Specifika pro nestrukturovaná data

  • Obraz: augmentace (flip, crop, color jitter), metriky top-1/top-5, mAP, IoU; trénink s transfer learningem.
  • Text: tokenizace, subword jednotky, pretraining/fine-tuning; metriky (F1, BLEU/ROUGE), testy toxicity a biasu.
  • Zvuk/časové řady: spektrogramy, augmentace (SpecAugment), metriky CER/WER, DTW pro časové řady.

Typické pasti a jak se jim vyhnout

  • Data leakage skrze společné škálování/target encoding; vždy fit pouze na trénovací sadě v rámci foldu.
  • Overfitting na validační sadu v důsledku častých pokusů; použijte nested CV nebo finální testovací sadu.
  • Nesprávná metrika nesouladná s byznys cílem; vždy nejdříve definujte nákladovou funkci a rozhodovací prahy.
  • Nereprezentativní split: absence stratifikace, nesprávná časová separace, group leakage (stejný subjekt v train i val sadě).

Postup „krok za krokem“ pro robustní trénink a evaluaci

  1. Definujte cílovou metriku hodnocení a akceptační kritéria (metrika, interval spolehlivosti, byznys náklady).
  2. Připravte pipeline předzpracování s ochranou proti úniku informací; zvolte vhodné rozdělení dat.
  3. Zvolte baseline model a ztrátovou funkci; monitorujte učební křivky (learning curves).
  4. Proveďte hyperparametrický průzkum (random/Bayes) a validujte pomocí křížové validace.
  5. Zajistěte kalibraci pravděpodobností a optimalizaci rozhodovacího prahu na validační sadě.
  6. Vyhodnoťte na zamčeném testovacím setu s intervaly spolehlivosti a statistickou analýzou.
  7. Proveďte analýzu chyb, audit férovosti (fairness) a robustnosti, a dokumentaci modelu.
  8. Nasaďte model s monitoringem drifutu, sběrem labelů a plánem re-tréninku.

Checklist před produkčním nasazením

  • Metriky splňují cíle, jsou k dispozici intervaly spolehlivosti a výsledky statistických testů.
  • Pipeline je bez úniků, kroky fit/transform jsou izolované v rámci křížové validace.
  • Model je kalibrovaný a prahy jsou optimalizované podle nákladové funkce.
  • Zajištěny jsou reprodukovatelné běhy (seed, verze dat/knihoven), experimenty jsou řádně zaznamenány.
  • Monitorování driftu a metrik, nastaveny alarmy, fall-back strategie a postup roll-backu.

Závěr

Úspěšné trénování a evaluace přesnosti vyžadují systematický přístup: kvalitní data a rozdělení, vhodné ztrátové funkce a metriky, důslednou validaci bez úniků informací, statistické zajištění výsledků, kalibraci a robustní provozní rámec. Pouze souhra těchto prvků poskytuje modely, které jsou nejen přesné v laboratorních podmínkách, ale i spolehlivé, férové a udržitelné v reálném provozu.

Súvisiace články