Lokální A/B testování v marketingu a optimalizaci

Lokální A/B testy: proč na geografii záleží

V lokálním GEO (geographic engine optimization) optimalizujeme nabídky, CTA (call-to-action) a pracovní dobu tak, aby zohledňovaly specifika regionů, mikrospádů a denních rytmů. Klasické A/B testy na úrovni celé země často opomíjejí lokální heterogenitu – rozdíly v kupní síle, mobilitě, počasí či kulturních zvyklostech. Lokální testování umožňuje rychle identifikovat, které varianty fungují „tady a teď“, a škálovat je s minimálním rizikem kanibalizace.

Experimentální jednotka a randomizace v prostoru

Jednotka: pobočka, PSČ, mřížkový tile (např. S2/Quadkeys), městská část, doručovací zóna.
Randomizace: přiřaďte varianty A/B na úroveň jednotky, nikoliv na jednotlivce, abyste snížili spillover mezi uživateli ve stejném místě.
Stratifikace: před randomizací seskupte jednotky podle prediktorů (traffic, tržby, demografie, historická sezónnost) a randomizujte v rámci strat.
Kontrola interference: minimalizujte kontakty mezi skupinami A a B (buffer zóny, oddělené tiles, odlišné komunikační kanály).

Pre-test kalibrace: CUPED a předobdobí

Pro zvýšení citlivosti testu použijte CUPED (redukci variance) s pre-period metrikami. Každé jednotce změřte výkon v období T–k před testem (návštěvnost, konverze, obrat). V samotném testu upravte odhady pomocí kovariátů z předobdobí. Výsledkem je menší potřebná vzorka a kratší doba testování.

Formáty lokálních A/B testů pro nabídky

Cenová nabídka: A = -10 %, B = 2+1 zdarma; segmentace podle elasticity (historické reakce na slevy).
Bundling: A = samostatné produkty, B = lokální bundle (např. „městský snack + káva“).
Hyperlokální stimuly: A = generická sleva, B = „po 17:00 v deštivé dny -15 %“ (vazba na počasí a čas).
Geo-fencing: A = bez cílení, B = do 500 m od pobočky s vyšším CPA stropem.

Formáty A/B testů pro CTA

Jazyk a tón: A = „Objednejte online“, B = „Vyzdvihněte za 15 minut“ (proximálně citlivé CTA).
Časová CTA: A = statický text, B = „Otevřeno ještě 45 minut“ (odpočet do zavření).
Doprava a dostupnost: A = generický odkaz, B = „Zobrazit trasu (X min pěšky)“ – zobrazuje aktuální čas dojezdu.
Varianty pro mikrospády: business čtvrť vs. rezidenční zóna – odlišný důvod návštěvy (oběd vs. večerní vyzvednutí).

Testování pracovní doby a „daypartingu“

Optimalizace otevírací doby má silný pákový efekt na obrat i náklady. Testujte:

Ranní otevírání (např. +30 min ráno) v kancelářských zónách během pracovních dnů.
Pozdní zavírání v pátek/sobotu v zábavních čtvrtích.
Mikro-pauzy ve slabých intervalech (např. 14:30–15:00) pro úsporu nákladů, pokud neohrožují SLA.
Sezónní přechody (letní vs. zimní režim) – testy s přechodnými obdobími a kontrolou vlivu dovolených.

Metodika: návrh testu krok za krokem

Definujte cíl: konverzní poměr, AOV, tržby/hodinu, návštěvnost pobočky, SLA (doba vyřízení), NPS.
Zvolte jednotku: pobočka/PSČ/tile; zkontrolujte dostupnost dat v reálném čase.
Spárujte „blížence“ (pair-matching) podle předobdobí; v každém páru A vs. B.
Určete délku testu: celé týdny, zahrňte stejné dny v týdnu; vyhněte se „polovičním“ víkendům.
Stanovte guardraily: minimální tržby, maximální nárůst čekací doby, limity compliance.
Monitorujte průběžné metriky bez peeking biasu (Bayesovský monitoring nebo alfa spending).

Statistické přístupy: frequentist vs. Bayes

Frequentist: dvouvzorkový t-test/GLM s robustními standardními chybami klastrovanými podle jednotky; korekce na vícenásobnost (Holm, Benjamini–Hochberg).
Bayes: posterior rozdílu efektů s ROPE (region of practical equivalence) a pravděpodobností, že B > A o alespoň δ.
Geo-lift: model založený na syntetické kontrole (SCM) pro testy, kde existuje mediální/OOH expozice pouze v části geografií.

Výpočet velikosti vzorky a síly testu

U konverzí v lokálních testech je variabilita napříč jednotkami větší než na individuální úrovni. Použijte design effect (DEFF):

DEFF ≈ 1 + (m − 1)ρ, kde m je průměrný počet pozorování na jednotku a ρ intratřídní korelace (ICC).
Upravte požadovanou vzorku: n_efektivní = n × DEFF.
Pro malé počty jednotek upřednostněte párovaný design a pre/post normalizaci (CUPED).

Měřené metriky a guardrail KPI

Kategorie	Primární metrika	Guardrail	Poznámka
Nabídky	Konverze/1 000 zobrazení	Marže ≥ X %	Kontrola kanibalizace plné ceny
CTA	CTR → CVR → AOV	SLA ≤ Y min	Řetězec metrik: klik → nákup → hodnota
Pracovní doba	Tržby/hodinu	Náklady/hodinu ≤ cíl	Vyhodnocovat samostatně po „daypartech“
Lokální signály	Footfall, map clicks	Spokojenost/NPS	Oddělit brandové šumy (OOH, eventy)

Dayparting a časová granularita

Dayparty: ráno (6–11), oběd (11–14), odpoledne (14–17), večer (17–21), noc (21–24).
Interakce: testujte varianty × daypart; efekty CTA jsou často časově specifické.
Kalendářní efekty: pátek ≠ pondělí; zahrňte fixní efekty dne v týdnu do modelu.

Externí proměnné: počasí, mobilita, události

Kontrolujte vliv exogenních faktorů pomocí kovariátů:

Počasí: srážky, teplota, výstrahy – silné interakce s nabídkami F&B a večerními časy.
Mobilita: MHD výluky, dopravní zácpy, festivaly.
Kalendář: svátky, prázdniny, místní jarmarky.

Implementační vzory pro digitální kanály

Lokální landing pages: /město/pobočka – varianty nabídek a CTA vázané na geo cookie/GPS/IP.
Mapové widgety: CTA „Navigovat“ vs. „Objednat online“ dle vzdálenosti < X min.
Schema.org: LocalBusiness s přesnými openingHoursSpecification; samostatné testy na „Open now“ snippety.
Ad extensions: location extensions vs. call extensions – A/B podle daypartu.

Offline integrace: pobočka a vývěska

Výklad: A = generické promo, B = lokální nabídka + QR → lokální stránka.
Menu board: A = stejné ceny, B = dynamická cena pro slabé intervaly (pravidla jasně zobrazit).
Personál: CTA skript – A = „Mohu pomoci?“, B = „Hledáte rychlý odběr?“ – měření přes POS tagy.

Analytika: atribuce a geo-lift

Store visit modely (SV): kombinujte digitální impresie s návštěvami – s opatrností vůči biasu.
Geo-lift: porovnání tržeb v test vs. kontrolních geo buňkách s vážením podle předobdobí.
Holdout zóny: vždy ponechejte 5–10 % geografických oblastí jako dlouhodobý holdout pro kalibraci modelů.

Interpretace výsledků a heterogenita efektů

Místo jednoho „průměrného“ efektu reportujte heterogenitu:

Podle daypartu, podle obvodu, podle počasí.
Uplift segmenty: kde B > A, kde B ≈ A (ROPE), kde B < A – pravidla rollout/rollback.
Q–Q grafy tržeb poboček: zachytí extrémy a outlier geografie.

Rollout a governance

Fázovaný rollout: 20 % → 50 % → 100 % geografií; sledujte guardraily.
Konfigurace jako kód: otevírací doby, CTA a nabídky v centrální konfigurační vrstvě (feature flags, geo pravidla).
Audit trail: kdo změnil co, kdy, pro které geografie (kompatibilní s compliance).

Právní, etické a UX zásady

Transparentnost: dynamické ceny a rozdílné nabídky mezi pobočkami musí být jasně komunikovány.
Fairness: nevyužívat znevýhodněné lokality pro agresivní testy bez hodnoty pro zákazníka.
Přístupnost: CTA a informace o otevíracích hodinách musí být dostupné (kontrast, jazyk, jednoduché ikony).

Checklist: připravenost na lokální A/B test

Definované jednotky a buffer zóny pro minimalizaci spilloveru?
Pair-matching a CUPED kovariáty připravené?
Guardrail metriky a stop pravidla nastavené?
Dayparty a kalendářní fixní efekty zahrnuty?
Logování variant v POS/analytice a audit trail?
Plán rollout/rollback a komunikace s pobočkami?

Příklady hypotéz pro nabídky, CTA a pracovní dobu

Oblast	Hypotéza	Metrika	Segment
Nabídka	„Bundle Oběd+Nápoj“ zvýší CVR o ≥ 12 % v business zóně	CVR, AOV	11:00–14:00, pracovní dny
CTA	„Vyzdvihněte za 15 min“ zvýší CTR o ≥ 8 % do 1 km	CTR → CVR	Mobilní zařízení, vzdálenost ≤ 1 km
Otevírací doba	Pozdní zavření +30 min zvýší tržby/hodinu o ≥ 10 %	Tržby/h, SLA	Pátek–sobota, centrum

Antivzory a nejčastější chyby

Peeking a předčasné závěry: průběžné ukončování bez kontrolovaného alfa spendingu.
Míchání jednotek: část testu na pobočky, část na individuální cookies – neporovnatelné.
Ignorování kalendáře: test jen o víkendu, závěr platící pro všední dny.
Nezdokumentované změny: lokální personál mění vývěsku/skript bez záznamu.

Rozšířené techniky: MAB a hierarchické modely

Multi-armed bandit (MAB): po úvodní exploraci přidělujte více trafficu lepším variantám; vhodné při stabilních podmínkách.
Hierarchické Bayesovské modely: společné rozdělení efektů s „partial poolingem“ mezi geografiemi – lepší odhady pro malé pobočky.
Causal forests/uplift modeling: identifikace segmentů s největším kauzálním přínosem.