Principy fungování rozšířené reality (AR)

Co je rozšířená realita (AR) a v čem se liší od VR/MR

Rozšířená realita (Augmented Reality, AR) vkládá digitální obsah (3D objekty, texty, ukazatele, data) přímo do vnímání skutečného světa. Na rozdíl od virtuální reality (VR), která uživatele přenáší do plně syntetického prostředí, AR registruje (zarovnává) a fúzuje virtuální prvky se scénou před uživatelem v reálném čase. Mixed Reality (MR) je širší nadmnožina, která zahrnuje plynulé spektrum mezi AR a VR a zdůrazňuje interakci virtuálních objektů s fyzikou a světlem reálného prostředí.

AR z hlediska zpracovatelského řetězce

AR systém lze chápat jako pipeline: snímání → odhad polohy a mapování (tracking & mapping) → porozumění scéně → rendering & kompozice. Cílem je udržet nízkou latenci, stabilní registraci a fotorealistickou integraci obsahu.

Snímání: kamery (RGB, RGB-D), IMU (akcelerometr, gyroskop), hloubkové senzory (ToF, structured light), mikrofony, někdy LiDAR.
Tracking & mapping: odhad pose (pozice a orientace) zařízení v prostředí a tvorba 3D mapy klíčových bodů či husté hloubkové reprezentace.
Porozumění scéně: detekce ploch, hran, objektů, odhad osvětlení, segmentace pro okluze.
Rendering & kompozice: nasvícení, stíny, okluze a anti-aliasing; výsledná kompozice s reálným obrazem (video see-through) nebo optickým překladem (optical see-through).

Senzory a jejich fúze

AR spoléhá na multisenzorickou fúzi, protože samotný obraz je náchylný k rozmazání, změnám osvětlení a uniformním plochám.

IMU: poskytuje rychlé, ale driftující informace o rotačním a translačním pohybu; vhodné pro interpolaci mezi snímky a stabilizaci.
Kamery: vizuální odhad pohybu (VO/VIO) pomocí sledování rysů (feature tracking) a bundle adjustment.
Hloubka (ToF/LiDAR): přímé měření vzdáleností pro robustní detekci ploch, okluze a škálování scény.
Fúze: filtry (Extended/Unscented Kalman), factor graph optimalizace (např. GTSAM) pro snížení driftu a udržení konzistence stavu.

Kalibrace a souřadnicové systémy

Přesnost AR stojí na správné kalibraci:

Intrinsiky kamery: ohnisková vzdálenost, hlavní bod, zkreslení čočky (radiální/tangenciální).
Extrinsiky: pevná transformace mezi kamerou, IMU, hloubkovým senzorem a zobrazovacím prvkem (HMD).
Souřadnicové systémy: Device frame, World frame, Camera frame, případně Anchor frame pro lokalizované objekty.

Tracking: markerový vs. bezmarkerový (SLAM)

Markerový tracking: fiducial značky (ArUco, AprilTag) se známou geometrií. Výhody: rychlá inicializace, stabilita. Nevýhody: vizuální invazivita.
Bezmarkerový tracking: SLAM (Simultaneous Localization and Mapping) – feature-based (ORB/SIFT/AKAZE), direct methods (fotometrická konzistence), případně semidense/dense rekonstrukce. Kombinace s IMU poskytuje VIO (Visual-Inertial Odometry) pro nižší latenci a menší drift.
Re-lokalizace a perzistence: rozpoznávání již navštívených míst, slučování map a sdílené mapy (multi-user AR) s využitím cloud anchors.

Mapování scény a detekce ploch

AR enginy (ARKit/ARCore/HoloLens SDK) detekují roviny (podlahy, stoly), hrany a povrchy pro umístění anchorů. Hloubková data a plane fitting (RANSAC) umožňují stabilní ukotvení objektů i v prostředích s málo texturami. Husté mapy podporují meshing scény pro pokročilé okluze a fyzikální interakce.

Odhad osvětlení a fotorealistické nasvícení

Pro vizuální věrohodnost je klíčové light estimation:

Environment map a spherical harmonics pro difuzní osvětlení.
Reflexní sondy a HDRI pro spekulární složku a realistické odlesky.
Stíny a kontaktní stín: blob shadow, shadow mapping a screen-space techniky.

Okluze a segmentace

Okluze zajišťuje, že reálné objekty zakryjí virtuální prvky, pokud mají být „před nimi“. Realizuje se pomocí hloubkové mapy, meshingu scény nebo learning-based segmentace (osoby, ruce). Správná okluze výrazně zvyšuje věrohodnost a stabilitu registrace.

Zobrazovací technologie: video vs. optical see-through

Video see-through: kamera snímá svět, zařízení kompozituje AR obsah a zobrazuje na displeji (smartphone, některá HMD). Výhody: plná kontrola nad obrazem, přesné barvy a okluze. Nevýhody: latence a možné nepohodlí.
Optical see-through: světelné vlnovody, průhledné displeje (HMD). Výhody: přirozené vnímání reálného světa, nižší simulátorová nemoc. Nevýhody: additive-only zobrazování (černá není skutečná „černá“), složitější okluze a nižší čitelnost na denním světle.

Renderovací a kompoziční vrstva

AR rendering musí respektovat časová omezení (ideálně < 16 ms pro 60 FPS) a minimalizovat motion-to-photon latenci.

Timewarp/Reprojection: korekce orientace v poslední chvíli ke snížení vnímané prodlevy.
Stabilizace: filtrováním a predikcí se eliminují drobné vibrace (jitter), aby objekty „neplavaly“.
Fotometrie: materiály s PBR, tónové mapování, vyvážení bílé pro koherentní vzhled.

Interakce: ruce, pohled, gesta, hlas

Interakční model závisí na zařízení:

Dotyk a obrazovka (mobilní AR): hit testing na detekovaných plochách, gesta pro škálování a rotaci.
Hand tracking: detekce kostry ruky, pinch/air tap, přirozená manipulace s 3D objekty, haptická odezva v ovladačích.
Gaze & dwell: sledování očí/pohledu pro výběr a fokus, často v kombinaci s gesty.
Hlas: hlasové příkazy pro hands-free scénáře (průmysl, zdravotnictví).

Prostorový zvuk (spatial audio)

AR využívá binaurální rendering a HRTF, aby zvuk vycházel z polohy virtuálních objektů v prostoru. Pro realističnost se modeluje dozvuk místnosti (reverb), útlum a stínění reálnými překážkami.

Perzistence a sdílené zážitky

Perzistentní AR ukládá ankory a mapová data pro návrat do téže scény později. Multi-user AR vyžaduje společný světový rámec: sdílené ankory či cloud anchors, synchronizaci pozic a stavů objektů s nízkou latencí (WebRTC, MQTT, vlastní UDP), řešení konfliktů a latencí.

Edge computing a cloud

Náročné úlohy (husté SLAM, rekonstrukce, rozpoznávání objektů, neuronové inferování) lze offloadovat na edge/cloud. Výhoda je vyšší výkon a sdílené mapy, rizikem je latence a přepínání (handover) mezi sítěmi. Hybridní modely vykonávají lokálně „kritickou smyčku“ (tracking) a do cloudu posílají méně urgentní úlohy.

Výkonnostní metriky a latence

Motion-to-photon: celková doba od pohybu zařízení/hlavy po zobrazení aktualizovaného obrazu (cílit pod 20 ms u HMD, pod 60 ms u mobilních zařízení).
Registration error: úhlová a translační chyba zarovnání virtuálních objektů s reálnými referencemi.
Drift: kumulativní odchylka pozice/orientace v čase bez re-lokalizace.
Stabilita snímků: jitter, ztracené snímky, 95. a 99. percentil latence renderingu.

Bezpečnost a ergonomie

Fyzická bezpečnost: passthrough uvědomění o okolí, zóna bezpečného prostoru, upozornění na překážky.
Ochrana soukromí: AR snímá okolí – nutná anonymizace, on-device zpracování, omezení sdílení map.
Ergonomie: hmotnost HMD, rovnoměrné rozložení hmotnosti, jas a kontrast pro různé světelné podmínky, redukce simulátorové nemoci (latence, reprojekce, stabilní retikulum).

Testování a validace AR

Laboratorní kalibrace: testovací vzory pro kontrolu zkreslení, přesnost pozice s optickým systémem (Vicon/OptiTrack).
Terénní testy: různé světelné podmínky, texturovanost scén, pohybové profily uživatelů.
UX evaluace: úspěšnost úkolů, čas, subjektivně vnímaná stabilita, kognitivní zátěž (NASA-TLX).

Typické aplikační scénáře

Průmysl a servis: návody „krok za krokem“, vzdálená asistence, kontrola kvality s překrytím tolerancí.
Vzdělávání a medicína: anatomické překryvy, navigace v operačním poli, simulace postupů.
Navigace a retail: indoor wayfinding, vizualizace produktů v prostoru (zařizování), interaktivní marketing.
Zábava a kultura: herní překryvy, muzejní expozice s rekonstruovanými artefakty.

Počítačové vidění a učení v AR

Moderní AR využívá deep learning pro robustnější feature detection, odhad hloubky z monoculární kamery, semantic segmentation (rozlišení podlah, stěn, lidí) a rozpoznávání objektů. Učení přímo na zařízení (on-device) s kvantizovanými modely (INT8) a akcelerátory (NPU) snižuje latenci a chrání soukromí.

Energetika a optimalizace

Duty-cycling a adaptivní snímkování: dynamicky snižovat frekvenci senzorů a renderingu, pokud uživatel neinteraguje.
Tiling a foveated rendering: vyšší kvalita tam, kam směřuje zrak, nižší jinde; vyžaduje eye-tracking.
Pipeline co-design: sdílení výsledků mezi trackingem a renderováním (např. opětovné použití hloubkových dat), zero-copy přenosy mezi GPU/ISP/NPU.

Standardy, frameworky a nástroje

Frameworky: ARKit (iOS), ARCore (Android), MRTK a HoloLens SDK, Vuforia pro průmyslové značky, OpenXR pro interoperabilitu.
Enginy: Unity, Unreal s AR pluginy; WebXR pro webové prohlížeče.
Formáty: glTF/USDC pro 3D obsah, light probes a materiály PBR, anchors a mapy specifické pro platformu.

Limity a otevřené výzvy

Robustnost v náročných scénách: nízká textura, zrcadla, průsvitné povrchy, extrémní světelné kontrasty.
Venkovní AR: jas, odrazy, dosah hloubkových senzorů, přesnost GNSS vs. lokální SLAM.
Společná mapa: škálovatelné sdílení a synchronizace map mezi uživateli, bezpečnost a integrita.
Form factor: lehké, esteticky přijatelné brýle s vysokým zorným polem, jasem a dlouhou výdrží baterie.

Best practices pro stabilní a věrohodnou AR

Rychlá inicializace: nabídnout uživateli pohyb kamerou pro zachycení rysů, vizuální zpětná vazba při hledání ploch.
Kontextové ankory: používat fyzikálně relevantní plochy a snapping pro větší stabilitu.
Realistická fotometrie: kontaktní stín, přiměřené odlesky, konzistentní měřítko