Neuronové sítě na edge zařízení

Proč on-board neuronové sítě na UAV

Autonomie dronů je založena na lokálním zpracování vnímání, lokalizace a rozhodování s nízkou latencí a vysokou spolehlivostí. Přenos surových dat do cloudu není při BVLOS a v rušeném RF prostředí udržitelný. On-board neuronové sítě (NN) na edge hardwaru proto kombinují přísné energetické, hmotnostní a tepelné limity s požadavky na deterministickou odezvu. Klíčem je kvantizace a akcelerace – techniky, které umožňují provoz moderních modelů v rozsahu 1–10 W a při latencích pod 10–50 ms v řídicí smyčce.

Omezení UAV: energetika, latence a spolehlivost

Energetický rozpočet: 1–15 W pro vnímání (kamera/LiDAR + NN), při typických bateriích 4–8S LiPo.
Latence: 10–30 ms pro vizuální servo, 50–150 ms pro globální plánování; jitter musí být nízký.
Hmotnost a termika: chladiče a ventilace zvyšují hmotnost; TDP omezuje takt a frekvenci inferencí.
EMI/EMC: výkonné SoC a spínané zdroje mohou rušit GNSS/RC; vyžadují se filtrační a layout opatření.

Kvantizace: principy a volby přesnosti

Kvantizace převádí FP32/FP16 tenzory na nižší bitové šířky za účelem snížení paměťových nároků, šířky pásma i spotřeby energie. Dobře navržená kvantizace má minimální dopad na přesnost při výrazném zrychlení.

Post-Training Quantization (PTQ): rychlá, bez dalšího přeučování. Vhodná pro 8-bit (INT8) s reprezentativní kalibrací.
Quantization-Aware Training (QAT): simuluje kvantizační šum během tréninku; umožňuje 8-bit a často i 4-bit kvantizaci.
Bitové režimy: INT8 je „sweet spot“; INT4/FP4 pro extrémní edge; binární/ternární sítě pro specifické úlohy.
Per-tensor vs. per-channel: per-channel škály snižují kvantizační chybu zejména u konvolucí.
Symetrická vs. asymetrická: symetrická (signed) zjednodušuje MAC operace; asymetrická lépe pokrývá posunutá rozdělení aktivací.
Kalibrace: klipování (MSE, KL) a sběr reprezentativních vzorků z letových dat minimalizují ztráty přesnosti.

Komplementární kompresní techniky

Prořezávání (pruning): strukturované (kanály/filtry) pro HW efekt; nestrukturované + sparsity ~50–70 % s podporou akcelerátorů.
Distilace znalostí: student napodobuje učitele; snižuje velikost modelu při zachování přesnosti.
Sdílení vah a low-rank faktorizace: dekompozice konvolucí a projekcí v transformerech.

Architektury modelů vhodné pro edge

Konvoluční sítě: depthwise separable a group conv (MobileNet, ShuffleNet) minimalizují MAC operace.
Transformery pro vizi: lite/linear attention, windowed self-attention, token pruning a dynamická sparsita.
Vícesenzorové fúze: kamerové RGB + IMU + případně ToF/LiDAR s lehkou pozorností.
Graph/Spiking: pro plánování trajektorií a extrémně nízkou spotřebu (SNN) tam, kde je to vhodné.

Akcelerace: akcelerační backendy a kompilátory

NPU/DLA: vysoká efektivita INT8/INT4, omezená sada operací; ideální pro standardní CNN a postprocessing.
GPU: flexibilní, FP16/INT8 tensor core; vyšší spotřeba, ale nejuniverzálnější.
DSP: výborné pro 1D/2D filtrační operace a malé sítě; deterministické latence.
FPGA: přesná kontrola datových toků, pipeline a sparsity; vyšší náklady na vývoj, ale top efektivita na watt.
Kompilátory: TVM, TensorRT, OpenVINO, Glow/XLA – fúze operací, transformace layoutu (NCHW↔NHWC), autotuning kernelů.

Optimalizace datových toků a paměťové provozu

Operátorová fúze: Conv+BN+ReLU, Q/DQ skládání; snižuje přístup do DRAM.
Prefetch/tiling: blokování do L2/SRAM; minimalizace cache miss a DMA prodlev.
Pipeline: překryv IO (kamera) – pre/postprocessing – inference – řízení v rámci jednoho snímku.
Smíšená přesnost: FP16 pro citlivé vrstvy (např. attention projekce), INT8 pro zbytek.

Realtime plánování: deterministický runtime

Rozdělení grafu: kritická smyčka (perception→control) s pevnou deadlinou, sekundární úlohy (mapování) v „best-effort“ režimu.
Prioritní fronty: RT plánovač (SCHED_FIFO) pro inference; rozdělení GPU času.
Řízení jitteru: připnutí jader, izolace IRQ, zamknutí frekvencí, NUMA/affinity.

Měření výkonu: metriky a profilace

Přesnost: mAP/mIoU/F1 pro úlohy vnímání; success rate pro plánování/avoidance.
Latence a jitter: P50/P95/P99; end-to-end od expozice po aktuátor.
Energie: J/inference, Wh/mise; teplotní profily a throttling.
Robustnost: okluze, změna osvětlení, pohybové rozmazání, RF interferencí, výpadky snímačů.
Profilace: per-op statistiky (MAC, BW), roofline analýza, „hot kernels“ a paměťové úzká hrdla.

Robustní kvantizace v praxi

Reprezentativní dataset: zahrnout typické letové výšky, úhly, denní/noční scény, povětrnostní podmínky.
QAT strategie: fake quant, straight-through estimator; postupné snižování bitů (8→6→4).
Citlivost vrstev: první a poslední vrstva často vyžadují vyšší přesnost; per-layer overrides.
Sledování dynamického rozsahu: EMA statistiky, percentile clipping, log-doménové škály pro outliery.

Zpracování obrazových dat na palubě

ISP pipeline: denoise/debayer v HW; přísné omezení CPU postprocessingu.
Downsampling a cropping: dynamické škálování vstupu dle dostupného TDP a požadované latence.
Časová synchronizace: PTP/PPS mezi kamerou, IMU a SoC; minimalizace časové neurčitosti pro fúzi.

Bezpečnostní aspekty a fail-safe

Sandbox inferencí: omezení privilegií, kontrola integrity modelů (hashy, podpisy).
Watchdogy: pro ML runtime i pro senzorové ovladače; detekce deadlocků.
Degradované režimy: přepnutí na jednodušší model/nižší rozlišení při přehřátí nebo nízké baterii.

Integrace do řídicí smyčky

Vizuální servo: konverze výstupů NN (např. klíčové body, detekce) na řídicí veličiny s filtrováním a limitery.
Přediktivní filtrování: EKF/UKF při zpožděných a kvantizovaných měřeních.
Confidence gating: pokud je důvěra NN pod prahem, spustit redundanci (IMU-only, GNSS-only, mapové odhady).

MLOps na okraji: nasazení a správa modelů

Formáty: ONNX, TFLite, proprietární blob pro NPU; verzování modelů a kompilátorem generovaných artefaktů.
A/B nasazení: shadow mode a postupné rozšiřování na flotilu.
OT(A) aktualizace: robustní, atomické; rollback a kompatibilita s firmwarem.
Telemetrie: anonymizované metriky latence/energetiky/chyb pro dlouhodobé ladění.

Validace: HIL/SIL a terénní testy

SIL: simulace snímačů a prostředí se záznamy reálných scén; zjišťování numerické stability po kvantizaci.
HIL: reálný edge HW v smyčce; záznam P50/P99 latencí a tepelných profilů během typických misí.
Letové zkoušky: AB testy modelů, metriky úspěšnosti úloh (např. procento správných přistání, přeletů bran).

Příklady úloh a doporučené konfigurace

Úloha	Model/architektura	Přesnost	Kvantizace	HW backend
Detekce překážek	MobileNet-SSD / YOLO-Nano	mAP 30–40 @ COCO-lite	INT8 PTQ/QAT, per-channel	NPU nebo GPU FP16/INT8
Slam/VO pomoc	Lehký SuperPoint + SuperGlue-lite	Stabilní lokalizace	INT8 mix, citlivé vrstvy FP16	GPU/DSP mix
Trasa v koridoru	Tiny-Transformer s windowed attention	F1 > 0.9 (dataset domény)	QAT INT8, projekce FP16	GPU/NPU hybrid

Checklist pro inženýrskou realizaci

Definovat KPI: přesnost, P95 latence, spotřeba, teplotní limity.
Zvolit architekturu modelu s ohledem na MAC/BW a podporované opy akcelerátora.
Připravit reprezentativní kalibrační set pro PTQ/QAT.
Provést kompresi: pruning → kvantizace → distilace → compiler autotuning.
Nastavit runtime: izolace jader, frekvence, DMA, pipeline.
Overit v SIL/HIL: přesnost vs. latence vs. energie, P99 jitter, termika.
Nasadit s A/B a telemetrií; připravit rollback a degradované režimy.

Nejčastější úskalí a jak jim předcházet

Ztráta přesnosti po PTQ: přejít na QAT, použít per-channel škály a lepší klipování.
Nekompatibilní opy na NPU: přeautorovat graf (nahradit operace), využít fúzi nebo fallback mimo kritickou smyčku.
Skrytá úzká hrdla: postprocessing na CPU; přesunout NMS, resize a normalizaci na akcelerátor.
Throttling: předimenzovat chladič, zavést power governor a adaptivní snížení rozlišení.

On-board neuronové sítě umožňují dronům bezpečně a autonomně fungovat i v náročných podmínkách. Kombinace kvantizace, komprese a specializovaných akcelerátorů přináší řádové zlepšení latence a energetické efektivity bez zásadní ztráty přesnosti. Systematický přístup – od volby architektury, přes QAT a kompilaci, až po RT integraci a validaci – je rozhodující pro nasazení, které splňuje přísné požadavky UAV misí.