Reinforcement learning pro přistání bezpilotních letadel na pohybující se platformě

Přistání bezpilotních letadel

Přistání bezpilotních letadel (UAV) na pohybující se platformy – od dopravních pásů přes paluby lodí až po mobilní roboty – představuje komplexní úlohu na pomezí percepce, predikce a řízení. Učení posilováním (Reinforcement Learning, RL) nabízí slibnou alternativu k explicitnímu návrhu regulátorů, protože dokáže optimalizovat rozhodování v prostředí s neúplnými informacemi, stochastickými vlivy větru a nelineárními omezeními akčních členů. Cílem je spolehlivé a energeticky efektivní dosednutí s minimalizací přetížení, doby manévru a rizika ztráty kontaktu po dotyku (touchdown & securing).

Formální vymezení úlohy a model prostředí

Úlohu modelujeme jako (částečně) pozorovatelný Markovův rozhodovací proces (POMDP) s komponenty (S, A, T, R, O, u03B3):

• Stavy S: poloha a rychlost UAV v souřadnicovém systému platformy, orientace (Eulerovy úhly/kvaterniony), stav větru, odhad polohy a rychlosti platformy, stav baterie a teplot, indikátory saturace aktuátorů.
• Akce A: příkazy tahů motorů, případně reference thrust/roll/pitch/yaw-rate neboli $u=[T, omega_x, omega_y, omega_z]$.
• Přechod T: nelineární dynamika UAV plus kontaktní model při dosednutí; platforma se pohybuje podle deterministického (např. sinusovky) nebo stochastického procesu (náhodná procházka, moře).
• Odměny R: kombinace dosažení cíle (přistání v toleranci), penalizace vzdálenosti a relativní rychlosti, penalizace řízení a přetížení, plus řídká terminální odměna za stabilní ukotvení.
• Pozorování O: multisenzorová fúze: vizuální marker/feature tracking, LiDAR výška, GNSS/INS, UWB; zahrnuje také nejistoty a výpadky.
• Diskont u03B3: volený jako kompromis mezi rychlostí dosednutí a bezpečností.

Prostor stavů a akcí, bezpečnostní omezení

Je přirozené definovat stav v relativním rámci platformy: $x_r, y_r, z_r, v_r, dot{psi}_r$, sklopený vítr a odhad tření při kontaktu. Akční prostor je vhodné ohraničit fyzikou: $T in [T_{min}, T_{max}]$, rychlosti náklonů s limity slew-rate. Bezpečnostní omezení implementujeme jako tvrdé limity (výška < h_max, náklon < u03B8_max, vzdálenost od zóny lidí > d_safe) a jako penalizace v odměnách. Pro safe RL je užitečná formulace CMDP s Lagrangeovým relaxačním členem pro porušení.

Percepce cíle a odhad stavu

Kritická je robustní lokalizace platformy v reálném čase:

• Vizuální metody: ArUco/AprilTag markery pro prototypy; pro produkci semantická detekce hran platforem, optický tok, stereo/monokulární SLAM s adaptivní expozicí a HDR.
• Dosahové senzory: LiDAR/ToF pro metricky spolehlivé výšky a naklonění hran; radar pro nepříznivé počasí.
• Fúze a predikce: UKF/MHE s exteroceptivními odečty a autoregresními modely pohybu platformy (např. constant acceleration + wave spectra).
• Kompenzace latence: časová synchronizace a backward-forward predikce k vyrovnání zpoždění kamery a autopilota.

Konstrukce odměny a tvarování (reward shaping)

Odměna by měla vést k bezpečnému a plynulému přistání bez lokálních optim:

• Blízkost cíle: $r_d = -alpha |p_r|_2 – beta |v_r|_2$ s Huber ztrátou pro robustnost.
• Orientace/vertikalita: penalizace velkých náklonů a yaw chyby vzhledem ke směru pohybu platformy.
• Energie a plynulost: $r_u = -lambda |Delta u|_2$ pro redukci oscilací.
• Kontakt a stabilizace: terminální odměna za dotyk v toleranci + bonusy za udržení > t_hold bez překročení limitů.
• Bezpečnostní sankce: tvrdé tresty za porušení no-go zón, převržení, saturaci delší než t_sat.

Algoritmy RL: výběr a porovnání

Kontinuální akční prostor favorizuje off-policy metody se stabilní konvergencí:

• DDPG/TD3: vhodné pro jemné řízení; TD3 zmírňuje chyby hodnocení dvojitým kritikem a target policy smoothing.
• SAC: maximalizace entropie zlepšuje průzkum a robustnost, často dosahuje rychlejší a stabilnější konvergenci.
• PPO: silná on-policy volba, zvláště s rekurentními sítěmi (LSTM/GRU) pro POMDP; vyžaduje více vzorků.
• Model-based RL (MBPO/MPC-RL): učený dynamický model + krátký plánovač (NMPC) pro přímou penalizaci porušení a lepší sim2real.
• Hierarchické RL: vysoká vrstva pro approach & align, nízká pro final descent & contact.

Kurikulární trénink a doménová randomizace

Pro slabý průzkum v komplikovaném prostoru se využívá postupné zvyšování náročnosti:

• Curriculum: začít stacionární platformou, následně nízké rychlosti a periodické pohyby, přidat náhodná boční zrychlení, vlny, výpadky senzorů.
• Domain Randomization: variace hmotnosti, koeficientů tahu, latencí, šumu; textury, osvětlení a povětrnostní efekty pro vizuální sítě.
• Automatic Domain Progression: adaptivní zvyšování variance parametrů dle výkonnosti agenta.

Učení z demonstrací a offline RL

Překlenutí sparse reward a urychlení tréninku:

• Behavior Cloning (BC): inicializace politiky z expertní teleoperace nebo z trajektorií MPC.
• DAgger: iterativní doplňování dat od experta tam, kde politika selhává.
• Offline RL (CQL/IQL): využití rozsáhlých záznamů reálných pokusů bez rizikového online exploration; důležité je pokrytí stavů blízkých kritickým zónám.

Simulátor, kontaktní fyzika a validace

Realističnost kontaktu je klíčová pro bezpečný přenos do praxe:

• Kontaktní modely: pružno-plastické modely s Coulombovým třením pro nožičky/přistávací hák, model odskoku a tlumení.
• Fluidní poruchy: stochastická spektra větru, interakce rotorového downwash s platformou a zemí (ground effect).
• Validace simulátoru: porovnání s měřeními z testovacích dosednutí (zrychlení, kontaktní síla, skluz po dotyku).

Sim2Real: přenos politiky do praxe

Strategie snižování mezery mezi simulací a realitou:

• Randomizace + system identification: pre-flight identifikace parametrů a residual learning pro doladění politiky.
• Modelování senzorů a akčních členů: kvantizace PWM, saturace proudů ESC, latence kamery a IMU.
• Shielding a dozorci: formálně ověřený bezpečnostní filtr (control barrier functions, reachability) zabraňuje zakázaným stavům.
• Hybridní řízení: RL politika generuje reference, nízkoúrovňový INDI/NMPC stabilizuje a zajišťuje dodržení limitů.

Bezpečnost a formální garance

RL politika musí být obalena mechanismy s prokazatelným chováním:

• Constrained RL: CMDP s Lagrangeovými multiplikátory, alternativně Lyapunov-based odměny.
• Barrier Functions: on-line řešení QP, které minimálně modifikuje akce RL, aby zachovalo bezpečnostní invarianty.
• Reachability Analysis: pre-check manévru v krátkém horizontu; při riziku porušení je politika nouzově přepnuta.
• Fail-safe režimy: odskok a druhý pokus, go-around, nebo návrat do loiter s rekalibrací odhadu platformy.

Multiagentní scénáře a roje

U flotily UAV nebo více mobilních cílů je vyžadována koordinace:

• Decentralizované MARL: centralized training, decentralized execution (CTDE) s kritikami využívajícími globální informace.
• Konfliktní omezení: vyhýbání se kolizím nad platformou, rozdělení časových slotů, komunikační omezení a výpadky.
• Sdílení učení: federované RL mezi stavbami/plavidly s rozdílnými podmínkami, ochrana citlivých dat.

Integrace s autopilotem a architektura softwaru

Praktická integrace vyžaduje jasná rozhraní:

• Vrstva vkladu politiky: ROS 2 uzel publikující na tématech setpoint_raw s garantovanou frekvencí a watchdog mechanismem.
• Prioritizace řízení: během finální fáze přistání se potlačuje autonomní navigace a aktivuje landing mode s vyššími váhami pro z-vis.
• Telemetrie a záznam: vysokofrekvenční log (IMU, vizuální počet rysů, latence, rozhodnutí politiky) pro následnou diagnostiku a zlepšování.

Metodika hodnocení a metriky

Objektivní srovnání politik je zásadní:

• Míra úspěšnosti: podíl bezpečných přistání v rámci tolerancí polohy a orientace.
• Přesnost a komfort: RMS laterální chyby při dotyku, maximální přetížení, varování spuštění anti-bounce kontrol.
• Čas a energie: doba trvání manévru, spotřeba energie, počet korekčních manévrů.
• Robustnost: degradace výkonu při výpadcích senzorů, náhlých nárazech větru a změnách povrchu platformy.
• Ablace: vliv jednotlivých složek odměny, randomizací a architektur percepce.

Případová studie: přistání na palubě plavidla

Scénář: kvadrokoptéra přistává na 1,5×1,5 m plošině plavidla s bočním zrychlením až do 0,3 g a náhodným kýváním (roll/pitch ±6°). Politika SAC je trénována s curriculum od statické paluby po plný rozsah vln, s doménovou randomizací hmotnosti ±15 % a odhadovanou latencí kamery 60–120 ms. Bezpečnostní shield s CBF garantuje výšku > 0,5 m při laterální chybě > 0,8 m a omezuje náklon na 20°. V terénních testech je dosaženo 92% úspěšnosti přistání, medián laterální chyby 12 cm a maximální vertikální přetížení 1,8 g, přičemž při sea state > 3 politika automaticky volí go-around.

Hardwarové aspekty: podvozek a zabezpečení kontaktu

Úspěšné přistání nekončí dotykem. Mechanická řešení (magnetické/aktivní uchycení, hák s vodicími hranami, pasivní tlumení) výrazně rozšiřují pracovní obálku. RL politika může jako součást akcí ovládat stav zámku (lock/unlock) a výšku dotyku s ohledem na citlivost spouštěče.

Provozní a regulační hlediska

Přistání na pohybující se platformy často probíhají v komplikovaných prostorech a v blízkosti osob. Nezbytné jsou standardní operační postupy (SOP), geofencing, detekce osob v bezpečnostním perimetru, postupy při ztrátě spojení (lost-link) a logování pro audit. Pro kritické mise je vhodné formálně posoudit rizika (FMEA/FTA) a zavést dvoukanálové dohlížení politiky (runtime assurance).

Best practices pro implementaci

• Začněte s hierarchií: plánování přiblížení (MPC) + RL pro finální dosednutí.
• Investujte do dat: kvalitní anotace kontaktů a neúspěchů, vyvážené scénáře, hard negative mining.
• Stavte na robustní percepci: redundantní senzory, vizuální i dosahové kanály.
• Trénujte s sim2real v mysli: randomizace, verifikace fyziky,