Porovnání technologií Time-of-Flight a event-based kamer v aplikacích UAV

Přehled a motivace studie

Rychlá a spolehlivá detekce překážek je pro malé UAV kritická při letu v blízkosti terénu, v interiéru či při autonomních přeletech nad složitým prostředím. Tento článek porovnává Time-of-Flight (ToF) senzory (kontinuální vlnové ToF kamery a solid-state LiDARy) s event-based kamerami (DVS/EVS) z hlediska přesnosti, latence, dosahu, výpočetních nároků, robustnosti a vhodnosti pro typické scénáře s drony.

Princip činnosti: ToF vs. event-based

  • ToF: vysílá modulované nebo pulzní světlo a měří čas návratu (nebo fázový posun) pro přímou range mapu. Výstupem je hloubková mapa (obvykle 30–60 fps), případně bodový mrak. Výkon ovlivňuje reflektance cíle, vzdálenost a atmosféra.
  • Event-based kamery: neposílají snímky v pevné frekvenci; každý pixel asynchronně generuje událost, když lokální logaritmický jas překročí práh. Výstup je proud událostí s mikrosekundovou latencí a extrémním dynamickým rozsahem; hloubku získáváme sekundárně (stereo, pohyb, aktivní strukturované světlo nebo fúze).

Metodika porovnání a metriky

Hodnocení vychází z těchto metrik:

  • Latence systému (ms): senzor → zpracování → rozhodnutí.
  • Přesnost hloubky (RMSE, MAE v cm) a spolehlivost (procento validních měření).
  • Dosah (m) a minimální detekovatelná překážka (rozměr/plocha).
  • Výpočetní nároky (GFLOPs/W, využití CPU/GPU/NPU).
  • Energetická spotřeba (W) a hmotnost (g) senzoru a výpočetní jednotky.
  • Robustnost vůči HDR scénám, nízkému osvětlení, dešti/mlze, texturové chudobě, spekulárním odrazům.

Hardwarové charakteristiky a typické rozsahy

Parametr ToF (kamera/LiDAR) Event-based kamera
Latence signálu ~10–30 ms (snímací pipeline) ~1–1000 µs (asynchronní události)
Rozlišení výstupu QVGA–VGA hloubka (kamery), 10–100k bodů (LiDAR) VGA–MPix adresy událostí (agregované do frameletů)
Dynamický rozsah ~60–90 dB ~120–140 dB
Dosah (typ.) 2–6 m ToF kamera, 10–60 m solid-state LiDAR Limitován geometrií; hloubka jen sekundárně (stereo/pohyb)
Spotřeba senzoru 1–8 W (ToF/LiDAR) 0,2–2 W
Náchylnost na mlhu/dešť Střelba do aerosolů → multipath/šum Kontrast klesá, ale nezávisle na vlastním osvětlení
Světelné podmínky Aktivní osvětlení pomáhá v tmě, saturuje na slunci Výborné v HDR a rychlých změnách, potřebuje texturu/pohyb

Přesnost a dosah v praxi

  • ToF: v interiéru poskytuje stabilní hloubku na 2–6 m (ToF kamera) a 10–30+ m (solid-state LiDAR). Přesnost roste s reflektancí a klesá s úhlem dopadu a aerosoly. Multipath a vzájemné odrazy mohou generovat systematické chyby.
  • Event-based: samotné události neudávají hloubku; stereo-event nebo motion parallax ji umí vytrénovat/odhadnout. Přesnost závisí na baseline, kalibraci a bohatosti hran. Při statické scéně a bez pohybu klesá informační tok.

Latence a bezpečný reakční prostor

Pro plánování manévru používáme konzervativní odhad zastavovací vzdálenosti:

s = v · τ + v²/(2 · a_max), kde v je rychlost, τ celková latence řetězce a a_max maximální zpomalení (omezené akcelerací dronu a limity vrtulí).

  • Příklad: v = 10 m/s, τToF ≈ 60 ms (senzor + inference), a_max = 6 m/s² → s ≈ 0,6 m + 8,3 m = 8,9 m.
  • Příklad: v = 10 m/s, τevent ≈ 5 ms → s ≈ 0,05 m + 8,3 m = 8,35 m. Výhoda event-based je zejména v prvním členu (reakční čas).

Energie a výpočetní nároky

  • ToF: aktivní emise (VCSEL/laser) zvyšuje přímou spotřebu, ale poskytuje metricky přesnou hloubku, čímž redukuje potřebu náročného učení. Typicky běží odlehčené filtrování a odhad ploch/hranic + jednoduché plánování vyhýbání.
  • Event-based: senzor je úsporný, ale hloubka vyžaduje stereo matching na událostech, spatio-temporální mapování, případně neuronové sítě. Při GPU/NPU akceleraci je však tok dat velmi řídký (sparse), což je výhodné.

Algoritmické pipeline

  • ToF pipeline: filtrování hloubky (bilaterální/temporální), odstranění multipathu, segmentace překážek, odhad normál, tvorba lokální 3D obsazenosti (voxel/grid), plánování úhybných manévrů (DWA/TEB/voxel RRT).
  • Event-based pipeline: agregace událostí do time surface/event frame, odhad optical flow, stereo-event matching (časově-prostorová okna), eVIO (event-based vizuálně-inerční odhad), následně 3D mapování (TSDF/ESDF) a plánování.

Kalibrace a synchronizace

  • Extrinsiky (R,t) mezi senzory a IMU musejí být stabilní; u event-based stereo je kritický časový offset < 1 ms.
  • Intenzitní artefakty ToF (ambientní světlo, teplota) řešte dark a flat-field kalibracemi.
  • Pro fúzi ToF + event je nezbytná společná časová báze (GPS time/PPS nebo PTP), jinak vznikají ghost překážky.

Robustnost v náročných podmínkách

Situace ToF Event-based
Interiér s nízkým světlem Výborné (aktivní osvětlení) Dobré, pokud je pohyb/textura; jinak málo událostí
Exteriér – ostré slunce/HDR Riziko saturace senzoru/přijímače Velmi dobré (vysoký DR)
Mlha/dešť/sníh Scattering → chybné range, multipath Kontrast klesá, ale menší interakce s aerosoly
Les (tenké větve) Dobrý průběh, ale obtížné drobné objekty na hranici rozlišení Dobré, pokud hrany generují události; nutná fúze pro hloubku
Lesklé/zpevněné povrchy Spekulární odrazy → outliery Může vzniknout lokální absence událostí

Experimentální design porovnávací studie

  1. Scény: interiér (tmavý sklad), exteriér HDR (slunce–stín), mlha/rozptyl (generátor mlhy), les/tenké překážky.
  2. Trajektorie: přímý let (5–12 m/s), slalom (±2 m boční offset), náhlé zastavení.
  3. Ground truth: optický motion capture v interiéru; venku RTK + statický referenční LiDAR.
  4. Výstupy: true positive rate detekce, time-to-react, počet falešných poplachů, přesnost hloubky, energetická efektivita (Wh na 100 m bezpečně přeletěné trati).

Výsledky a interpretace (syntetická analýza)

  • V interiéru a při nízkém osvětlení má ToF výhodu v přímém range, standardní latence však zvyšuje bezpečný odstup.
  • V HDR a při rychlých manévrech má event-based výraznou výhodu v latenci a absenci rozmazání; pro spolehlivou hloubku ale potřebuje stereo/pohyb nebo fúzi s ToF/IMU.
  • V mlze/dešti klesá spolehlivost ToF; event-based zůstává použitelný pro detekci změn, ale nikoli absolutní vzdálenosti bez fúze.

Fúze senzorů: „nejlepší z obou světů“

Doporučený přístup pro UAV, která létají napříč scénáři, je fúze ToF + event + IMU:

  • Event poskytuje nízkolatenční indikace okrajů a pohybu (predikce rizik).
  • ToF dodá metrickou hloubku a stabilní range stop pro plánovač.
  • IMU/VIO stabilizuje pozici a doplňuje chybějící informace při nízké textuře.

Integrované plánování a bezpečnostní logika

  • Hierarchie reakcí: 1) event trigger (mikro-úhyb), 2) ToF potvrzení vzdálenosti, 3) globální přeplánovací fáze.
  • Konzervativní buffer: bezpečný poloměr dle vzorce pro s s penalizací za nejistotu hloubky (větší penalizace u event-only odhadu).
  • Failover: při saturaci ToF přepnout do „edge-follow“ režimu na eventech se sníženou rychlostí.

Nákladová a integrační stránka

  • ToF kamery: nižší cena a jednodušší integrace na krátké dosahy (interiér, indoor SLAM, robotika), vyšší příkon.
  • Solid-state LiDAR: vyšší dosah, robustnost, ale cena/spotřeba/rozměry jsou pro mikro-UAV limitující.
  • Event-based kamery: rostoucí ekosystém, nízký příkon, ale sofistikovanější softwarová integrace a potřeba specializovaných knihoven.

Doporučení podle typu mise

  • Interiér/tmavé prostory, pomalé lety (≤4 m/s): ToF kamera jako primární senzor; event-based volitelně pro rychlé okrajové detekce.
  • Exteriér, vysoká dynamika (≥8 m/s), ostré přechody světla: event-based stereo + IMU/VIO jako primární, ToF/LiDAR pro metrické range do 10–20 m.
  • Mlha/dešť: minimalizovat závislost na aktivní optice; event-based + radar (pokud hmotnost dovolí) nebo výrazně konzervativní profil letu.
  • Mikro-UAV s přísným energetickým rozpočtem: event-based single/stereo s lehkým zpracováním; pro kritické mise přidat lehký ToF pro last-resort stop.

Limity a praktická úskalí

  • ToF: multipath, saturace sluncem, aerosoly; potřeba tepelné stabilizace a optické čistoty okénka.
  • Event-based: nízký signál při statických texturově chudých scénách; kalibrace prahů, citlivá časová synchronizace.
  • Datasety a benchmarky: méně standardizované pro event-based hloubku při UAV rychlostech; doporučená interní kalibrace na vlastních scénářích.

Implementační checklist pro tým

  • Definujte latency budget a vypočítejte bezpečný odstup pro maximální rychlost.
  • Ověřte kalibraci extrinsik a časování (PPS/PTP) pro všechny senzory.
  • Zaveďte confidence mapy (per-pixel/per-voxel) a penalizace nejistoty v plánovači.
  • Simulujte saturaci/slepé zóny (sluneční závoj, mlha) a trénujte failover režimy.

ToF poskytuje spolehlivou metrickou hloubku s jednoduchou integrací, ale trpí na aerosoly a vyšší latenci snímací pipeline. Event-based kamery přinášejí ultranízkou latenci, extrémní dynamický rozsah a nízkou spotřebu, avšak pro hloubku je třeba dopočítání nebo fúze. Pro UAV operující v různorodých podmín