Proč „bezpečná AI“ pro UAV není jen o přesnosti
Autonomní bezpilotní letadla (UAV) stále častěji využívají modely strojového učení a plánování založeného na AI v kritických smyčkách vnímání–rozhodování–řízení. Vysoká přesnost detekce překážek nebo kvalitní trajektorie však samy o sobě negarantují bezpečnost. Potřebujeme verifikovatelné politiky, které formálně vynucují omezení, a interpretovatelnost, která umožní lidem rozumět a auditovat chování modelů. Tento článek představuje integrovaný rámec bezpečné AI pro UAV – od specifikace bezpečnostních cílů, přes formální ověřování a runtime „shielding“, až po metriky interpretovatelnosti a procesy MLOps v regulovaném prostředí.
Referenční architektura: od ODD k bezpečnostním cílům
- ODD (Operational Design Domain): prostorové (typ vzdušného prostoru, urbanizace), environmentální (vítr, srážky, dohlednost), provozní (VLOS/BVLOS, výška) hranice, ve kterých je politika AI platná.
- Bezpečnostní cíle: např. „pravděpodobnost kolize < 10−x na letovou hodinu“, „žádný přelet nad vyhrazenými zónami“, „vyhnutí se lidem do vzdálenosti > d“.
- Oddělení úloh: (i) percepce (detekce/SLAM), (ii) predikce (trajektorie jiných), (iii) rozhodování (plánování/RL), (iv) řízení (CBF/LQR), (v) dozor (monitor/shield).
Formální specifikace: od logiky ke kontraktům
- Temporální logiky: LTL/MTL/STL pro vyjádření požadavků typu „vždy drž horizontální separaci ≥ R“, „pokud hrozí kolize, do T sekund iniciuj úhybný manévr“.
- Kontrakty: assume–guarantee rámec pro komponenty (senzory, plánovač, autopilot). Např. „pokud latence vnímání < 80 ms a chyba pozice < 0,5 m, plánovač garantuje bezpečný manévr“.
- Oblast bezpečného stavu: invarianty v prostoru stavů; definice unsafe set (kolize, porušení geofencingu, saturace aktuátorů).
Ověřování rozhodování: model checking, dosažitelnost a CBF
- Reachability analysis: dopředné/obrácené dosažení se zohledněním poruch větru a nejistoty odhadu; výpočet „tubusů“ kolem referenční trajektorie.
- Control Barrier Functions (CBF): online řešení QP, které koriguje příkazy tak, aby derivace bariérové funkce splňovala bezpečnostní nerovnost.
- Model checking: abstrakce politiky (např. diskrétní stavy úrovně rizika) a verifikace LTL vlastností nad konečným automatem.
- Robustní MPC: plánování s „tube“ obálkou a tvrdými omezeními; garantovaná realizovatelnost.
RL pod kontrolou: bezpečné učení a „shielding“
- Safety layer: projekce akce z RL přes QP/CBF před odesláním do autopilota (akce je modifikována na nejbližší bezpečnou).
- Constrained RL: optimalizace s Lagrangeovými multiplikátory nebo CMDP; penalizace porušení bezpečnostních rozpočtů (např. výdaj rizika).
- Curriculum a sim2real: postupné zvyšování obtížnosti, doménový randomizmus (vítr, odezvy) a rozšířená penalizace OOD stavů.
- Offline/Batch RL s verifikací: učení nad kurátorským datasetem bezpečných trajektorií; verifikace politiky před nasazením.
Runtime monitorování: od „shields“ po diagnózu
- Monitor STL: robustní stupeň splnění formule (robustness degree) jako zpětná vazba – pokud klesne pod práh, vyvolej failsafe.
- Watchdogs a kontrakty: dohled nad latencí, ztrátou paketů, saturacemi; automatický přechod na hover nebo RTH.
- Ensembles a runtime certifikát: „two-tier“ politika – rychlá neuronová politika + pomalejší certifikovaný kontrolér k nápravě.
Nejistota, OOD a robustnost vnímání
- Kalibrace pravděpodobností: teplotní kalibrace, Dirichlet prior, expected calibration error jako metrika.
- OOD detekce: energetické skóre, Mahalanobisova vzdálenost v prostoru embeddingu, „deep ensembles“.
- Adversariální a fyzikální útoky: augmentace, randomized smoothing, robustní architektury; validace v přítomnosti odlesků, deště, rolling-shutter efektu.
- Fúze senzorů: redundance (stereo+LiDAR+IMU), explicitní modely chyb a „gating“ měření v EKF/UKF se zpožděním.
Interpretovatelnost modelů: od salience po kauzalitu
- Lokální metody: gradientové mapy, CAM/Grad-CAM, occlusion testy pro detektory překážek.
- Globální metody: SHAP/Integrated Gradients pro rozhodovací politiky; identifikace dominantních rysů (vítr, vzdálenost ke zóně, rychlost).
- Konceptuální interpretace: TCAV – „do jaké míry koncept lidský dav ovlivňuje akci zpomalit?“
- Kauzální grafy: SCM (Structural Causal Models) pro oddělení korelací od příčin; kontrafaktuální scénáře (counterfactuals) v simulaci.
Vysvětlitelné rozhraní pro operátory a dozor
- „Proč“ a „proč ne“: stručná textová zdůvodnění politiky („zvýšení výšky kvůli nízkému robustness degree na STL: sep ≥ R“).
- Konfidenční pásma: vizualizace nejistoty predikcí a rizikového rozpočtu v GCS (ground control station).
- Audit trail: záznam vstupů, mezi-reprezentací a důvodů zásahu shieldu pro pozdější forenziku.
Swarm bezpečnost: multi-agentní politiky a důkazy
- Formální specifikace pro roje: globální LTL vlastnosti („žádné kolize“, „připojenost grafu ≥ k“) a lokální pravidla (vzájemná separace, finite-time konsensus).
- Distribuované CBF: lokální QP s omezeními od sousedů; garantovaná kolizní bezpečnost bez centrální autority.
- Komunikační selhání: politiky graceful degradation při ztrátě spojení (přechod na formaci s nižší hustotou, návratové body).
Data, bias a kurátorství: od sběru po verifikaci
- Dataset governance: původ, licence, reprezentativita napříč ODD; měření a zmírňování biasu (scény, počasí, infrastruktura).
- Výběr scénářů: „hard case“ jádro (vítr v poryvech, ptáci, nízká dohlednost) a syntetika s fotorealismem.
- Validační sady: rozdělení podle rizika; OOD testy; metriky bezpečnosti (minimální separace, míra porušení STL).
Zkoušky a metriky: nad rámec mAP a RMSE
- Safety KPI: minimální horizontální/vertikální separace, počet zásahů shieldu za hodinu, 99,9. percentil reakční doby.
- Formální robustnost: průměrný a nejhorší robustness degree STL během mise.
- Rizikové metriky: CVaR/TVaR z rozdělení ztrát v Monte Carlo simulaci s poruchami větru a selháním senzorů.
Procesy a MLOps v regulovaném prostředí
- Traceability: vazba požadavek–model–test–let; podepisované artefakty, neměnné buildy.
- Verifikované knihovny: deterministické závislosti, kontrolované optimalizační rutiny (QP/SOCP) s důkazy konvergence.
- Kontinuální verifikace: každá změna modelu spouští sadu formálních a simulačních testů; deploy brány dle úrovně rizika.
- Post-deployment monitoring: telemetrie bezpečnostních KPI, detekce driftu, mechanismus rychlého roll-backu.
Kyberbezpečnost a odolnost vůči útokům na AI
- Útoky na vnímání: fyzické markery, spoofing; vícesenzorové ověřování a sanity-checky geometrie.
- Útoky na politiku: policy extraction/poisoning; podpisy datasetů, kontrolní součty modelů, izolované spouštěcí prostředí.
- Bezpečné aktualizace: ověřené OTA, „canary“ flotily a staged rollout s monitorováním rizika.
Fail-safe a „graceful degradation“
- Hierarchie režimů: autonomní → konzervativní → stabilizační → hover/RTH → bezpečné přistání.
- Bezpečnostní automaty: explicitní přechody dle monitorů (latence, nejistota, porušení STL); důkladně testované „dead-end free“ grafy.
- Energetický management: bezpečnostní rezervy baterií vázané na ODD a alternativní plochy.
Příklad integračního návrhu (schéma)
- Specifikace: ODD, STL vlastnosti, kontrakty komponent.
- Návrh politiky: RL/MPC s CBF safety layerem.
- Formální ověření: dosažitelnost + model checking abstrahovaného automatu.
- Simulace: Monte Carlo se scénáři OOD a poruchami; metriky KPI/STL robustnosti.
- HIL/SIL: latence v smyčce, porovnání s limity; validace shieldu.
- Letové testy: staged (upevněné → uzavřený prostor → reálné ODD), s runtime monitorem a audit trailem.
- Provoz: telemetrie, detekce driftu, pravidelná re-verifikace po aktualizaci.
Checklist pro bezpečnou AI v UAV
- ODD zdokumentován a navázán na limity modelů a senzorů.
- STL/LTL specifikace pokrývají separaci, geofencing, energetiku a komunikační selhání.
- Safety layer (CBF/QP) úspěšně koriguje akce > 99,9 % případů v simulaci.
- OOD a nejistota jsou monitorovány; definovány prahy pro fallback.
- Interpretovatelnost: alespoň jedna lokální a jedna globální metoda v GCS.
- Audit trail: deterministické buildy, podpisy datasetů, plná trasovatelnost.
- Swarm: distribuční pravidla a důkazy připojenosti; režimy degradace při ztrátě komunikace.
Bezpečná AI pro UAV vyžaduje souhru formálních metod, robustního řízení a praktické interpretovatelnosti. Politika, která je verifikovatelná vůči explicitním požadavkům, doplněná o runtime „shielding“ a transparentní vysvětlování rozhodnutí, poskytuje předvídatelné chování i v neideálních podmínkách. Takový přístup umožňuje škálovat autonomii od jednotlivých dronů k rojům a zároveň zachovat důvěru regulátorů, operátorů a veřejnosti.
