A kampány után megjelenő rendelések egy része hirdetés vagy kupon nélkül is létrejött volna. A megtérülési döntéshez azt kell megbecsülnöd, mennyivel változott a vállalkozás eredménye a kampány miatt. Ehhez ugyanabban az időszakban olyan összehasonlításra van szükség, amelyben a kampányhoz való hozzárendelés véletlen, a kimenetek mérése pedig mindkét csoportban azonos.
A következő saját, hipotetikus példában a kampány növeli a vásárlás valószínűségét és az ügyfelenkénti fedezetet. A teljes kampányköltség levonása után mégis marad érdemi bizonytalanság a nyereség körül. Végig ugyanannak a döntésnek a számait használjuk: egy meghatározott ügyfélkör kapjon-e egy adott ajánlatot, és mennyi többleteredményt várhatunk ettől?
Mit rendelsz véletlenszerűen a kampányhoz?
Indulás előtt határozd meg a jogosult ügyfélkört és a besorolás egységét. Egy bejelentkezett ügyfél több látogatását és rendelését ugyanahhoz az ügyfélazonosítóhoz rendeld. A besorolás maradjon állandó a vizsgálat alatt. Látogatásonként újrasorsolva ugyanaz az ember mindkét ajánlattal találkozhatna.
Ha az ajánlatot egy háztartás vagy vállalati fiók tagjai közösen használják, a közös egység besorolása lehet indokolt. Területi kampánynál akár üzlet vagy körzet lehet a randomizáció egysége. A J-PAL randomizációs útmutatója részletesen tárgyalja az egyéni és csoportos besorolást, valamint a csoportok közti áthatás problémáját. Csoportos besorolásnál a bizonytalanságot is ehhez kell igazítani: sok rendelés néhány körzetből kevés független kísérleti egységet jelent.
A kontroll a döntés valódi alternatíváját kapja. Ez lehet a szokásos kommunikáció a vizsgált extra kampány nélkül. Írd le pontosan, melyik hirdetés, kedvezmény és üzenet marad el. Ha közben a kontroll másik, hasonló ajánlatot kap, a mérés már a két kialakult kommunikációs helyzet különbségéről szól.
Rögzítsd előre a besorolási arányt, az elsődleges kimenetet, a megfigyelési időszakot és a visszáruk lezárási szabályát. A J-PAL előzetes elemzési tervekről szóló anyaga ennek módszertani hátterét adja. A tervbe a hiányzó adatok és a kiugró rendelések kezelését is írd bele; a kedvező eredmény ismeretében meghozott szűrés gyengíti az összehasonlítást.
A nevezőben minden hozzárendelt ügyfél szerepeljen
Az elsődleges eredményt az eredeti besorolás szerint számold. A kampánycsoport tagja marad az is, aki nem nyitotta meg az üzenetet, nem kapott végül hirdetésmegjelenést, vagy nem vásárolt. Ezt hívják hozzárendelés szerinti, angol rövidítéssel ITT-elemzésnek. A J-PAL adatelemzési útmutatója ezt az összes hozzárendelt résztvevőn értelmezett programhatásként tárgyalja.
A megnyitók és a nem megnyitók összevetése más összetételű ügyfeleket válogathat össze. Ugyanez igaz a csak hirdetést látók vagy csak vásárlók utólagos kiválasztására. A vállalkozás a kampány kiküldéséről dönt; az elsődleges mérés ezért ennek a teljes jogosult körre jutó következményét kövesse.
Az ügyfélszintű kimenet legyen az adott ablak összes releváns rendelésének pénzben mért fedezete. Vond le a beszerzést, a változó teljesítési költséget, a kedvezményt és a visszáru hatását a saját elszámolásod szerint. A hirdetéshez nem attribútált rendelés is számít, ha a kijelölt ügyfélhez és időszakhoz tartozik. Így a csatornák közti átterelés nem jelenik meg automatikusan új üzletként.
A valóban rendelés nélküli ügyfél kimenete nulla. A mérési hiba miatt ismeretlen kimenetet ne helyettesítsd automatikusan nullával. Egyeztesd az eredeti besorolási állományt a mérésbe bekerült azonosítókkal. A Microsoft kísérleti platformjának SRM-útmutatója bemutatja, hogy a tervezett csoportaránytól való megmagyarázatlan eltérés adatvesztést vagy kiválasztási hibát jelezhet. Az eleve tervezett, eltérő csoportméret önmagában rendben van.
Saját példa: 6000 kampányügyfél és 4000 kontrollügyfél
Feltételezzünk 10 000 jogosult, egymástól függetlenül értékelhető ügyfelet. Előre rögzített besorolással 6000 kerül a kampányhoz, 4000 a kontrollhoz. A példában ügyfelenként legfeljebb egy rendelés születik, minden rendelés azonos alapterméket érint, és a megfigyelés már tartalmazza a véglegesen elszámolt visszárukat. Ezek a számolást egyszerűsítő feltételek.
A rendelésenkénti fedezet kedvezmény előtt 4500 Ft. A kampánycsoport minden vásárlója 500 Ft kedvezményt kap, ezért ott rendelésenként 4000 Ft marad. A kontrollban nincs ez a kupon.
| Adat | Kampánycsoport | Kontrollcsoport |
|---|---|---|
| Hozzárendelt ügyfél | 6000 | 4000 |
| Rendelő ügyfél | 1200 | 600 |
| Rendelési arány | 20% | 15% |
| Rendelő ügyfél fedezete | 4000 Ft | 4500 Ft |
| Nem rendelő ügyfél fedezete | 0 Ft | 0 Ft |
| Csoport összes fedezete | 4 800 000 Ft | 2 700 000 Ft |
| Fedezet egy hozzárendelt ügyfélre | 800 Ft | 675 Ft |
Az egy ügyfélre jutó becsült többletfedezet:
Δ = 4 800 000 / 6000 − 2 700 000 / 4000 = 125 Ft/fő.
A 6000 fős kampánycsoport méretére vetítve ez 750 000 Ft. A két csoport teljes fedezetének egyszerű különbsége, 2 100 000 Ft félrevezető volna, mert a kampánycsoport nagyobb.
A rendelésszám is azonos létszámra vetítve értelmezhető. A kontroll 15%-os aránya 6000 ügyfélen 900 rendelésnek felel meg. Az 1200 megfigyelt kampányrendelés ehhez képest 300 becsült többletrendelés. Ez csoportszintű különbség; ebből nem állapíthatod meg, melyik konkrét rendelő vásárolt volna kampány nélkül is.
A fedezeti számolás másik ellenőrzése:
300 × 4500 − 1200 × 500 = 750 000 Ft.
A kedvezmény mind az 1200 rendelést terheli. Ha csak a 300 becsült többletrendelés kuponját vonnád le, túlbecsülnéd az eredményt. A kosárelhagyás és a menthető fedezet számításáról szóló cikk ezt a költségkérdést egy visszacsábító ajánlaton mutatja be.
A teljes költség után 270 000 Ft a pontbecslés
A hipotetikus kampány médiaköltsége 360 000 Ft, a kreatív elkészítése 90 000 Ft, a kampányhoz külön felmerült mérési díj 30 000 Ft. Együtt 480 000 Ft. A példában a kontrollhoz képest minden további érintett költséget elszámoltunk; a változatlan közös rezsi és az adózás ezen a költségkörön kívül marad.
Becsült többleteredmény = 6000 × 125 − 480 000 = 270 000 Ft.
Ez a felsorolt költségekre és a megfigyelési ablakra számított, adózás előtti többleteredmény. Az 500 Ft-os kupont már levontuk az ügyfélkimenetből, ezért itt újra nem szerepel. Ha a kampány túlórát, új licencet vagy külön ügyfélszolgálati munkát okoz, annak tényleges többletköltségét is ebbe az elszámolásba kell beillesztened.
A nullszaldóhoz szükséges ügyfelenkénti többletfedezet:
480 000 / 6000 = 80 Ft/fő.
A döntési összehasonlítás tehát 125 és 80 Ft között van. A nulla feletti vásárlási vagy fedezeti hatás önmagában még kevés a kampány költségének fedezéséhez.
Mennyire bizonytalan ez az eredmény?
Az átlagok mellé az ügyfélkimenetek szóródása is kell. A NIST két független átlag összehasonlításáról szóló leírása eltérő csoportméretnél és eltérő varianciánál is használható standardhibát ad. Jelölje s² a csoporton belüli mintavarianciát, n a hozzárendelt ügyfelek számát:
SE(Δ) = √(s²ₖ / nₖ + s²₀ / n₀).
A mintavariancia az átlagtól vett négyzetes eltérések összege osztva n − 1-gyel. Itt minden szükséges érték szerepel a táblázatban:
s²ₖ = [1200 × (4000 − 800)² + 4800 × (0 − 800)²] / 5999 ≈ 2 560 426,74 Ft².
s²₀ = [600 × (4500 − 675)² + 3400 × (0 − 675)²] / 3999 ≈ 2 582 520,63 Ft².
Ezekből SE(Δ) ≈ 32,747 Ft/fő. A nagy csoportokra és az itt megadott egyszerű kimenetekre közelítő, normális eloszlásra épített 95%-os intervallumot számolunk:
125 ± 1,96 × 32,747 ≈ 60,82–189,18 Ft/fő.
A 6000 fős kampányméretre visszavetítve, majd a rögzített 480 000 Ft költséget levonva a többleteredmény közelítő tartománya −115 105 és +655 105 Ft. A végpontokat a kerekítetlen standardhibából számoltuk.
A fedezethatás teljes intervalluma pozitív, de a 80 Ft/fős üzleti küszöb beleesik. A mérés pozitív átlagos fedezethatást támaszt alá, a kampány pozitív többleteredményét ezen a 95%-os szinten még nem különíti el a veszteségtől. A pontbecslés ettől továbbra is 270 000 Ft; a döntésnél a kedvezőtlen, adatokkal még összeegyeztethető eredményt is figyelembe kell venned.
Az intervallum a módszer ismételt mintavételi tulajdonságáról szól, ahogyan azt a NIST konfidenciaintervallum-útmutatója kifejti. A mostani kampány nyereségének valószínűségét ebből önmagában nem kapod meg. A tartomány a mintavételi bizonytalanságot kezeli, a hibás besorolást, az elveszett rendelési adatot vagy a jövőbeni piaci változást nem.
Mi változik bonyolultabb vásárlási adatoknál?
Több rendelést, eltérő kosarakat és visszárut is ugyanarra az ügyfélre összegezhetsz. Ilyenkor a tényleges ügyfélszintű fedezetből számold az átlagot és a varianciát. A rendeléseket külön független megfigyelésként kezelve indokolatlanul szűk intervallumot kaphatsz, ha ugyanaz a vásárló többször szerepel.
A fenti közelítés független ügyfélegységekre készült. Körzetenkénti besoroláshoz csoportos bizonytalansági számítás szükséges. Erősen kiugró fedezeteknél, kevés független egységnél vagy folyamatos eredményfigyelés alapján történő leállításnál az elemzési tervnek megfelelő más eljárás kell. Az itt levezetett képletet ilyen adatokra változtatás nélkül ne vidd át.
Ha kontrolltagok is megkapják a kupont, őket az elsődleges ITT-elemzésben tartsd az eredeti csoportjukban, és közöld az átszennyezés mértékét. A besorolási hatás ilyenkor a ténylegesen megvalósult ajánlatelosztásra vonatkozik. Ha az egyik csoport viselkedése a másikét is befolyásolja, például közösen elfogyasztják a korlátos készletet, a független csoportokra épített értelmezés sérülhet. Az ilyen áthatás iránya az üzleti helyzettől függ.
Az ajánlat a későbbi vásárlást is előrehozhatja. Ha csak a kuponos hetet méred, a következő hetek visszaesése kimaradhat. A megfigyelési ablakot ezért a döntés időtávjához és a vásárlási ciklushoz igazítsd; a hosszabb távú hatást az adatok hiányában külön bizonytalanságként kezeld.
A következő kampány méretét külön költségsorral tervezd
A mostani eredményből új kampányt csak további feltételezéssel becsülhetsz. Tegyük fel, hogy 10 000 hasonló ügyfélnél is fennmarad a 125 Ft/fős hatás, a média 60 Ft/főbe kerül, és az új kampány kreatív- és mérési költsége együtt ismét 120 000 Ft. Ekkor:
10 000 × 125 − 10 000 × 60 − 120 000 = 530 000 Ft.
Ez új terv, feltételezett változatlan hatással és költségekkel. A kísérlet már kifizetett költsége az új döntésben múltbeli kiadás; a ténylegesen megismétlődő és elkerülhető tételeket kell újra felvenned. A nagyobb célközönség eltérő összetétele, a hirdetési ár vagy a kapacitás miatt a 125 Ft/fő is változhat. Az eddigi bizonytalanságot a tervezésben is tartsd láthatóan.
A ROAS-kalkulátor a hirdetéshez rendelt bevételt, árrést és marketingköltséget foglalja össze. Kontrollcsoportos ügyféladatokat és konfidenciaintervallumot nem dolgoz fel. A ROAS és a nullszaldós hirdetés részletes útmutatója segít az attribúciós költségelszámolás ellenőrzésében; a fenti kísérleti táblához ügyfélszintű adatállomány és az elemzési tervet követő külön számítás szükséges.
Módszertani források
- J-PAL: Randomization – a besorolás egysége és az áthatás kezelése.
- J-PAL: Data analysis – ITT és a kísérleti elrendezéshez igazított bizonytalanság.
- J-PAL: Pre-analysis plans – előzetesen rögzített elemzési döntések.
- Microsoft Research: Diagnosing Sample Ratio Mismatch in A/B Testing – hiányzó ügyfelek és a tervezett besorolási arány ellenőrzése.
- NIST: Two-Sample t-Test for Equal Means – az átlagkülönbség standardhibája.
- NIST: Confidence Limits for the Mean – az intervallum értelmezése.
A számok saját, hipotetikus példából származnak. A források a módszert támasztják alá; a bemutatott kampány nem valós ügyféleset.