Proč „sim-to-real” rozhoduje o autonomii dronů
Trénink a testování autonomních algoritmů přímo v terénu je nákladné, rizikové a málo škálovatelné. Simulace (sim) nabízí bezpečné prostředí s kontrolovanými podmínkami a masivní paralelizací. Rozdíl mezi simulací a realitou (sim-to-real gap) však často vede ke zhoršení výkonu po nasazení v reálném světě (reality gap). Tento článek systematizuje přístupy k překlenutí této mezery pomocí doménové randomizace, transfer learningu, adaptivní identifikace a integračních postupů pro autonomii dronů – od percepce přes lokalizaci po plánování a řízení, včetně rojových scénářů.
Architektonický kontext: vrstvy autonomie a kde vzniká „gap”
- Percepce (perception): detekce/průzkum scény (RGB, hloubka, LiDAR, event-kamery), sémantika, sledování objektů. Gap vzniká z nepřesné fotometrie, textur, šumu a světelných rušení.
- Odhad stavu (state estimation): VIO/SLAM, fúze IMU/GNSS/vidění. Gap tvoří rozdílná spektra vibrací, nelinearity senzorů a zpoždění.
- Plánování a vyhýbání: reaktivní kolizní vyhýbání, globální plánovače, MPC. Gap vzniká v dynamice prostředí (vítr, pohyblivé překážky) a v omezeních aktuátorů.
- Řízení: nízkoúrovňové smyčky (attitude/rate/thrust) a vysoká vrstva (trajektorie). Gap způsobují nelineární efekty (downwash, ground effect), saturace a zpoždění ESC/motorů.
Doménová randomizace: princip, cíle a návrh rozdělení
Doménová randomizace (Domain Randomization, DR) záměrně mění parametry simulace během tréninku tak, aby modely viděly široké spektrum možných světů. Cílem je, aby síť/algoritmus získal invarianty a robustní reprezentace.
- Fotometrie: náhodné zdroje světla, spektrum, intenzita, stínování, odlesky, opar, meteorologie; textury a materiály s variabilními BRDF.
- Senzory: šum IMU (bias drift, random walk), rolling shutter, kvantizace, latence; LiDAR s dropouty a vícenásobnými odrazy; kamery s aberacemi a znečištěním čoček.
- Dynamika „plant”: hmotnost, momenty setrvačnosti, thrust mapy, zpoždění motorů, aerodynamické koeficienty, vítr (nárazy, turbulence, shear), ground effect.
- Prostředí a geometrie: rozmístění překážek, pohyb aktérů, topologie koridorů, GPS zastínění, RF rušení.
- Komunikační podmínky: jitter, ztráta paketů, zpoždění v roji (C2 a V2V), omezení šířky pásma.
Pravidlo návrhu rozdělení: randomizujte široce, ale fyzikálně realisticky. Používejte truncated nebo mixture rozdělení (např. lognormální pro šum, beta pro osvětlení) s prioritou podle měření. Pro kritické parametry aplikujte curriculum – zvyšujte rozptyl postupně.
Transfer learning: ze simulace do reality krok za krokem
Transfer learning přenáší znalosti naučené v zdrojové doméně (sim) do cílové (real). Klíčové strategie:
- Feature transfer: použití encoderu natrénovaného v simulaci a fine-tune na reálných anotovaných datech (potřebuje jich méně).
- Domain adaptation: adversariální zarovnání distribucí (sim vs. real) v latentním prostoru; coral/mmd regularizace.
- Self-supervised pretraining: kontrastní úlohy (temporal a multi-view) ze simulace, doladění na malém reálném setu.
- Policy distillation: přenesení RL politiky z fotorealistické/DR simulace do menší sítě běžící na edge (MCU/SoC) s kvantizací.
Fotorealismus vs. randomizace: komplementární pohled
Fotorealistická simulace snižuje rozdíl ve vnímání, ale bývá nákladná a méně rozmanitá. DR naopak rozšiřuje pokrytí distribucí, ale může vést k „přehnaně robustním” reprezentacím, které ztrácejí jemné detaily. V praxi:
- Trénujte percepci na fotorealistických scénách s mírnou DR fotometrie.
- Trénujte řízení/RL s výraznou DR dynamiky a senzoriky.
- Použijte two-stage přístup: nejprve DR, potom narrow-domain fine-tune na reálných logech.
Identifikace parametrů a „plant-model mismatch”
Přesný model dynamiky snižuje potřebu extrémní DR. Doporučený cyklus:
- Bezpečné letové experimenty s excitačními manévry (chirp, step, PRBS).
- Odhad thrust/torque map, časových konstant ESC/motorů, aerodynamických koeficientů.
- Kalibrace modelu a Bayesovské intervaly nejistoty, které se přetvoří na rozsahy DR.
Sim-to-real pro učení s posilováním (RL)
- Privileged learning: během tréninku v simulaci má agent přístup k „dokonalému” stavu; při nasazení používá jen odhad přes senzory. Teacher-student schéma snižuje realitní mezeru.
- Domain randomization v prostředí: dynamika, zpoždění, poruchy aktuátorů; curriculum podle úspěšnosti agenta.
- Risk-sensitive RL: minimalizace CVaR nebo penalizace „tail” událostí pro bezpečnost; zvlášť důležité v blízkosti překážek.
- Safe exploration: barrier functions, shielding nad RL politikou (např. CBF/ECBF), které garantují nepřekročení omezení.
Imitační učení a DAgger v praxi dronů
Imitační učení využívá expertní trajektorie z člověka nebo MPC. Protože distribuční posun vede ke kumulaci chyb, doporučuje se DAgger (agregace dat s korekcemi experta) i v simulaci s DR a následné doladění na reálných korekcích (on-policy fine-tune s nízkým rizikem).
Vizualizace a augmentace: od obrazů k robustním reprezentacím
- Spektrální a fotometrické augmentace: náhodné expozice, spektrální posuny, šum, defokus, pohybové rozmazání, nečistoty čoček.
- Geometrické augmentace: náhodné ořezání, rotace, perspektivní „tilt”, simulace rolling shutter.
- Sim2Real style transfer: Cycle-consistent překreslení textur ze sim do real a naopak, bez ztráty geometrie – vhodné pro percepci.
Časování a latence: end-to-end limit autonomie
I při dokonalém vnímání se výkon zhorší, pokud je latence a jitter ve smyčce podceněn. Při sim-to-real je nezbytné:
- Modelovat senzor→odhad→řízení→aktuátor řetězec s realistickými zpožděními a periodicitou.
- Trénovat politiky tolerantní k jitteru (randomizace periody, delay-aware MPC/RL).
- V HIL ověřovat deadline miss rate a robustnost vůči CPU zatížení.
Metriky a orákula: jak měřit připravenost na realitu
- Robustnostní křivky: výkon vs. variace parametru (vítr, zpoždění, šum); cílem je plošší profil.
- Distributional coverage: procento cílového provozu pokryté tréninkovými rozděleními (odhady z reálných logů misí).
- Safety KPI: počet „near miss”, minimální clearance k překážkám, zásahy safety-shieldu, porušení omezení.
- Generalizační testy: neviděné scény/počasí; holdout místa, která simulátor neobsahoval.
Pipeline: od simulace k terénu
- Data mining z reálných logů (vítr, vibrace, latence) → statistiky pro návrh DR rozdělení.
- SIL trénink s DR a fotorealistickou scénou pro percepci; RL/IL pro navigaci a vyhýbání.
- HIL validační filtr: časování, jitter, rozhraní; fault injection (dropouty senzorů, packet loss).
- Pilotní lety s envelope protection (geofencing, virtuální zdi, soft limit thrust).
- Iterace: zpětná identifikace a aktualizace DR rozdělení; fine-tune percepce a politiky.
Sim-to-real pro roje: škálování nejistoty a komunikace
- Komunikace: randomizujte latence, ztrátovost a omezení propustnosti; trénujte decentralizované politiky s omezenou informací.
- Koordinace: používejte graph neural networks nebo explicitní formace s consensus algoritmy robustními vůči výpadkům uzlů.
- Bezpečnost: Reciprocal collision avoidance s verifikovanými bariérami; lokální failsafe při ztrátě komunikace.
Modely nejistoty a verifikované „shields”
Přidejte odhady nejistoty do percepce a řízení (např. Monte Carlo dropout, ensemble) a rozhodování svazujte na risk-aware MPC. Nad politikou implementujte formálně verifikované shielde (CBF/Reachability), které garantují bezpečnostní invarianty.
Kontinuální učení a adaptace na zařízení
- Test-time adaptation: jemné doladění BN statistik nebo nízkodimenzionálních hlav podle přicházejících reálných dat.
- Meta-learning: inicializace, které se rychle přizpůsobí nové lokalitě/počasí několika kroky gradientu.
- Edge constraints: kvantizace, prořezávání sítí, distilace a plánování toků dat vzhledem k energetickému rozpočtu.
Integrace s klasickými metodami: hybridní řízení
Čisté RL politiky nahrazujte hybridem: síť předpovídá reference/parametry pro MPC nebo adaptivní regulátor. Hybrid lépe respektuje omezení a usnadňuje certifikaci. Percepční sítě poskytují mapy rizika a costmaps pro klasické plánovače.
Data a anotace: jak získat „málo, ale dobrých” reálných dat
- Active learning: iterativně navrhujte mise, které maximalizují informaci (místa s vysokou nejistotou modelu).
- Weak supervision: pravidla/heuristiky a senzorové triády (např. stereo+IMU) pro generování pseudo-štítků.
- Human-in-the-loop: rychlé anotace na klíčových framových bodech; korekce v DAgger smyčce.
Bezpečnostní a regulační aspekty
Prokázání bezpečnosti vyžaduje traceability od požadavků po testy a metriky. Sim-to-real postupy musí být auditovatelné: protokoly DR rozdělení, verze simulátorů, semena RNG, logy z HIL a reálných letů, plus „go/no-go” kritéria pro rozšíření provozu (VLOS → BVLOS, denní → noční).
Případové vzory nasazení
- Indoors inspekce: silná DR osvětlení a textur; hybridní řízení (MPC+policy); HIL testy s RF multipath a občasnou ztrátou vizuálních prvků.
- Lesní průzkum: DR větru, pohyblivé vegetace a slunečních skvrn; robustní VIO s event-kamerou; risk-sensitive plánování clearance.
- Rojové mapování: decentralizované politiky s DR komunikace; GNN pro formace; shielde pro minimální rozestupy.
„Best practices” pro tým
- Udržujte binární ekvivalenci algoritmů mezi SIL/HIL/real (stejné knihovny a flagy).
- Logujte vše: časové značky, jednotky, rámce, semena RNG, verze simulátorů, parametry DR.
- Curriculum: od úzkých rozdělení k širokému spektru; „overfit to safety” – bezpečnost prioritou při expanzi obálky.
- Test like you fly: scénáře, které věrně kopírují provoz (rychlosti, manévry, latence, rušení).
Budoucí směry
- Sim-to-real s fyzikou učenou z dat (differentiable physics) a adaptivní identifikací během letu.
- Generativní modely pro syntézu realistických senzorických scén s kontrolou variability.
- Formální metriky distribuční blízkosti mezi sim a real na úrovni reprezentací.
- Ko-učení rojů s garancemi stability při mění
