Na tej strani
Hipotetična kampanja za preizkus ima 120 upravičenih kontaktov in dve predlagani zadevi sporočila. Sprožilec je odločitev pred začetkom. Dodatni kliki po dodatnih dveh dneh niso zmaga.
Ekipa želi vedeti, ali praktična zadeva povzroči več dokončanih aktivacij preizkusa kot zadeva, ki vzbuja radovednost. Vprašanje zadeva aktivacije, ne odprtij. Primer Marketing Analyst podjetja xAI zahteva številke z viri in ujemajoča se okna; enako disciplino uporabite, ko Grok Bot pripravlja testni načrt. Te povezave Grok Bot in Brevo nismo izvedli v dejanskem računu.
Zamrznite vprašanje in ljudi
Pred izdelavo kampanje zapišite en stavek: »Ali med upravičenimi, naročenimi kontakti preizkusa zadeva B spremeni dokončano aktivacijo v sedmih dneh od zapisanega načrtovanega začetka skupine v primerjavi z zadevo A?« Besedilo, ponudba, URL in čas pošiljanja naj ostanejo enaki. Za celotno skupino zabeležite en načrtovani čas začetka. V sistemu izdelka opredelite dogodek aktivacije, njegov ključ identitete kontakta in obravnavo zapoznelih dogodkov. Če tega vira ni mogoče povezati s prejemniki Brevo, lahko eksperiment meri klike, ne more pa odgovoriti na vprašanje o aktivaciji.
Upravičenost določite s trenutnimi zapisi naročnine in blokade pošiljanja, ne s članstvom v CRM ali poslovno domeno. Odstranite podvojitve, zavrnjene naslove, odjavljene, že aktivirane kontakte in udeležence nasprotujočega si testa. Zamrznite upravičene identifikatorje in jih enkrat razporedite s ponovljivo naključno metodo in identifikatorjem eksperimenta. Pred vsakim pošiljanjem shranite evidenco razporeditve. Tik pred pošiljanjem znova preverite soglasje in blokade. Vsakogar, ki je vmes postal neupravičen, zabeležite kot izpad brez pošiljanja v prvotni skupini; nikoli ga ne prerazporedite ali tiho odstranite iz glavne analize.
Ta hipotetična skupina bi lahko razporedila 48 oseb v A, 48 v B in 24 v kontrolno skupino brez pošiljanja. To so predlagane skupine, ne rezultati ali priporočilo velikosti vzorca. Pred začetkom izračunajte potreben vzorec za dejansko izhodišče in uporaben učinek. Majhen test lahko dokaže le, da merjenje deluje. Za načrtovanje vzorca glejte vodnik za testiranje A/B.
| Zapis | Potrebna polja | Deterministično preverjanje |
|---|---|---|
| Upravičenost | ID kontakta, vir naročnine, stanje blokade, čas zamrznitve | Vsak razporejeni kontakt je bil ob zamrznitvi upravičen |
| Razporeditev | ID eksperimenta, ID kontakta, skupina, čas razporeditve | Ena skupina na kontakt; kontrolna skupina ne prejme testnega sporočila |
| Izid | ID dogodka, ID kontakta, čas dogodka, vir | Prva ustrezna aktivacija kontakta v istem sedemdnevnem oknu od začetka skupine za vse skupine |
Nastavite pošiljanje, ki upošteva obvezni pregled
Brevova izvorna kampanja A/B preizkusi dve zadevi ali različici vsebine na enako velikih testnih vzorcih, izbere zmagovalca po odprtjih ali klikih in ga samodejno pošlje preostanku. To je uporabno samo, če je samodejna nadaljnja pošiljka odobrena pred začetkom. Ta način ne ponuja premora za človeški pregled prvega rezultata.
Za ta eksperiment naj odobren in preverjen izvajalec zamrznjene skupine preslika v izrecne sezname ali segmente prejemnikov Brevo. Ustvarite dva osnutka kampanj brez načrtovanega pošiljanja, enega za A in drugega za B, z istim pošiljateljem, besedilom, ciljem in načrtovanim oknom. Kontrolno skupino izključite iz obeh. Vsak seznam ali segment primerjajte z evidenco, znova preverite blokade in poskrbite, da preslikava ne sproži nepovezane avtomatizacije. Primerjajte dejansko število prejemnikov in predoglede, nato odobrite vsako pošiljanje. Če Brevo ne more dokazati preslikave, se ustavite pred pošiljanjem. Uvodni vodnik za povezavo pojasnjuje, zakaj osredotočeni strežnik MCP sam po sebi ne omejuje dovoljenj.
Vnaprej določite prag pritožb in ustavite čakajoča pošiljanja, če je presežen. Ohranite razporeditev in morebitno delno dostavo; ustavljen test ni zmaga skupine, ki je bila slučajno poslana prva. Ob glavnem izidu ohranite števila odjav in zavrnitev. Naš vodnik za dvojno potrditev prijave opisuje mejo naročnine.
Zahtevajte poročilo, nato izberite naslednji eksperiment
Kopirajte ta poziv po posredovanju zamrznjene evidence in poročil z datumi:
Analizirajte samo identifikator eksperimenta in vire, ki jih podam. Po skupinah uskladite upravičene kontakte, razporeditev v A, B in kontrolno skupino, dejanske prejemnike, dostavo, zavrnitve, odjave in pritožbe. Za vse kontakte A, B in kontrolne skupine uporabite en zapisani načrtovani začetek skupine kot dan nič; merite isto sedemdnevno okno in delite s prvotno razporejenimi kontakti v vsaki skupini. Odstranite podvojene identifikatorje dogodkov, nato iz imenovanega vira produktnih dogodkov vsakega različnega kontakta s prvo ustrezno aktivacijo štejte največ enkrat. Izpade brez pošiljanja ohranite v dodeljeni skupini in stopnje samo med dostavljenimi sporočili označite kot sekundarno diagnostiko. Ločite manjkajoče dogodke od nedostopnega vira. Pokažite števce, prvotne imenovalce razporeditve, izpade brez pošiljanja, odstopanja od protokola in čase pridobitve poročil. Navedite, ali sta bila dosežena načrtovani vzorec in pravilo odločanja. Iz klikov ne sklepajte o prodaji in odprtij ne uporabljajte kot glavnega izida. Ne prerazporejajte kontaktov, ne razglasite prezgodnjega zmagovalca, ne ustvarjajte ali pošiljajte kampanje in ne spreminjajte kontakta. Predlagajte osnutek enega naslednjega eksperimenta s hipotezo in zahtevano odobritvijo.
Preverite: skupne dostave in pritožbe Brevo primerjajte s poročilom kampanje ob istem času pridobitve. Dokumentirajte, ali sta bila uporabljena filtra Apple Mail Privacy Protection in aktivnosti botov; Brevo takšno aktivnost privzeto vključuje. Vodnik za e-poštne metrike pojasnjuje, zakaj lahko odprtja zavajajo. Testno fazo in vsako poznejše širše pošiljanje poročajte ločeno.
Veljaven rezultat navede upravičeno populacijo, razporeditev, dejansko izpostavljenost, vir izida, okno in negotovost. Če vnaprej določeno pravilo odločanja ni izpolnjeno, zabeležite »nedokončno« in pripravite naslednji test. Število različnih kontaktov s prvo ustrezno aktivacijo v sedmih dneh delite s prvotno razporejenimi kontakti v A, B in kontrolni skupini od istega načrtovanega začetka skupine. Dostave, pritožbe in izpade brez pošiljanja pokažite ločeno. Stopnje samo med dostavljenimi sporočili so sekundarna diagnostika, ker se dostava zgodi po naključni razporeditvi. Brez veljavne naključne razporeditve ali vira izida je razlika opisna, ne vzročna. Odločitev mora biti ponovljiva iz evidence. Primerjajte ločeno zanko odziva na povratne informacije o izdelku.
Pogosto Zastavljena Vprašanja
Ali lahko Grok Bot iz klikov razglasi zmagovalno kampanjo Brevo?
Samo če so bili kliki vnaprej določen izid in ima fiksna primerjava dovolj dokazov. Kliki ne dokazujejo prodaje. Za vprašanje o prodaji uporabite povezan vir naročil z izrecnim oknom pripisovanja in opazovanja; sicer prodajo označite kot nerazpoložljivo.
Ali izvorni test A/B Brevo pred pošiljanjem zmagovalca počaka na moj pregled?
Ne. Brevo dokumentira samodejno pošiljanje izbranega zmagovalca preostalemu občinstvu po testnem obdobju. Ta način uporabite samo, če so različice, metrika in nadaljnje pošiljanje odobreni vnaprej. Za obvezni pregled uporabite ločeno odobrene in preverjene sezname ali segmente prejemnikov ter kampanje.
Kaj naj se zgodi, če med testom naraste število pritožb?
Uporabite varnostni prag, določen pred začetkom, ustavite čakajoča pošiljanja, ohranite zapise razporeditve in dostave ter preverite vir pritožb. Po ustavitvi ne izberite tiho zmagovalca in ne prerazporejajte kontaktov.