Grok Bot und Brevo: Kampagnenexperimente mit belastbaren Ergebnissen

Eine hypothetische Testkampagne umfasst 120 zulässige Kontakte und zwei vorgeschlagene Betreffzeilen. Auslöser ist die Entscheidung vor dem Start. Zusätzliche Klicks nach zwei zusätzlichen Tagen sind kein Sieg.

Das Team will wissen, ob eine sachliche Betreffzeile zu mehr abgeschlossenen Testaktivierungen führt als eine neugierig machende. Gefragt sind Aktivierungen, nicht Öffnungen. Das Marketing-Analyst-Beispiel von xAI verlangt Zahlen mit Quellen und gleiche Zeitfenster. Wende dieselbe Disziplin an, wenn Grok Bot einen Testplan entwirft. Wir haben diese Verbindung zwischen Grok Bot und Brevo nicht in einem Live-Konto ausgeführt.

Fixiere Frage und Zielgruppe

Schreibe vor dem Kampagnenaufbau einen Satz: „Verändert Betreff B bei zulässigen, angemeldeten Testkontakten die abgeschlossene Aktivierung innerhalb von sieben Tagen nach dem erfassten geplanten Kohortenstart im Vergleich zu Betreff A?“ Halte Nachrichtentext, Angebot, URL und Versandzeit gleich. Erfasse einen geplanten Startzeitpunkt für die gesamte Kohorte. Definiere das Aktivierungsereignis im Produktsystem, seinen Kontakt-Identitätsschlüssel und die Behandlung verspäteter Ereignisse. Kann diese Quelle nicht mit Brevo-Empfänger:innen verknüpft werden, kann das Experiment Klicks messen, die Aktivierungsfrage aber nicht beantworten.

Definiere die Eignung anhand aktueller Anmelde- und Sperrdatensätze, nicht anhand der CRM-Zugehörigkeit oder Firmendomain. Entferne Duplikate, unzustellbare, abgemeldete und bereits aktivierte Kontakte sowie Personen in einem widersprechenden Test. Fixiere die zulässigen IDs und teile sie einmalig mit einer reproduzierbaren Zufallsmethode und einer Experiment-ID zu. Speichere das Zuteilungsprotokoll vor jedem Versand. Prüfe Einwilligung und Sperre unmittelbar vor dem Senden erneut. Erfasse zwischenzeitlich unzulässige Personen als nicht angeschriebene Ausfälle in ihrer ursprünglichen Gruppe; teile sie nie neu zu und entferne sie nicht stillschweigend aus der primären Analyse.

Die hypothetische Gruppe könnte 48 Personen A, 48 B und 24 einer nicht angeschriebenen Kontrollgruppe zuweisen. Das sind vorgeschlagene Gruppen, weder Ergebnisse noch eine Stichprobenempfehlung. Berechne vor dem Start die für deine tatsächliche Ausgangsquote und einen nützlichen Effekt nötige Stichprobe. Ein kleiner Test zeigt vielleicht nur, ob die Messung funktioniert. Der A/B-Test-Leitfaden hilft bei der Stichprobenplanung.

Datensatz	Benötigte Felder	Deterministische Prüfung
Eignung	Kontakt-ID, Anmeldequelle, Sperrstatus, Fixierungszeit	Jeder zugewiesene Kontakt war beim Fixieren zulässig
Zuteilung	Experiment-ID, Kontakt-ID, Gruppe, Zuteilungszeit	Eine Gruppe je Kontakt; Kontrollgruppe erhält keine Testnachricht
Ergebnis	Ereignis-ID, Kontakt-ID, Ereigniszeit, Quelle	Erste zulässige Aktivierung je Kontakt im gleichen, am Kohortenstart verankerten Sieben-Tage-Fenster für alle Gruppen

Konfiguriere den Versand mit Freigabe

Brevos nativer A/B-Test prüft zwei Betreffzeilen oder Textvarianten an gleich großen Teststichproben, wählt nach Öffnungen oder Klicks eine Sieger-Variante und versendet sie automatisch an den Rest. Das passt nur, wenn der automatische Rollout vor dem Start freigegeben wurde. Er bietet keine Pause, in der ein Mensch das erste Ergebnis prüfen könnte.

Ordne für dieses Experiment die fixierten Gruppen über eine freigegebene, geprüfte Bedienperson eindeutigen Brevo-Empfängerlisten oder Segmenten zu. Erstelle zwei noch nicht geplante Kampagnenentwürfe für A und B mit gleichem Absender, Text, Ziel und geplantem Zeitfenster. Die Kontrollgruppe bleibt in beiden außen vor. Gleiche jede Empfängerliste oder jedes Segment mit dem Protokoll ab, prüfe Sperren erneut und stelle sicher, dass die Zuordnung keine andere Automation auslöst. Vergleiche tatsächliche Empfängerzahlen und Vorschauen, dann gib jeden Versand frei. Kann Brevo die Zuordnung nicht belegen, stoppe vor dem Versand. Der Einstiegsleitfaden zur Verbindung erklärt, warum ein eng gefasster MCP-Server Berechtigungen nicht selbst einschränkt.

Lege vorher einen Beschwerdegrenzwert fest und stoppe ausstehende Sendungen, wenn er überschritten wird. Bewahre Zuteilung und teilweise Zustellung auf; ein gestoppter Test ist kein Sieg der zuerst versendeten Gruppe. Zeige Abmeldungen und unzustellbare E-Mails neben dem primären Ergebnis. Unser Double-Opt-in-Leitfaden erklärt die Abonnementgrenze.

Fordere einen Bericht an und entscheide über den nächsten Test

Kopiere diesen Prompt nach Bereitstellung des fixierten Protokolls und datierter Berichte:

Analysiere nur die Experiment-ID und Quellen, die ich bereitstelle. Gleiche zulässige Kontakte, A/B/Kontrollgruppen-Zuteilung, tatsächliche Empfänger:innen, Zustellungen, unzustellbare E-Mails, Abmeldungen und Beschwerden je Gruppe ab. Nutze den einzigen erfassten geplanten Kohortenstart als Tag null für A, B und Kontrollgruppe; miss für alle dasselbe Sieben-Tage-Fenster und teile jeweils durch die ursprünglich zugewiesenen Kontakte. Entferne doppelte Ereignis-IDs und zähle dann unterschiedliche Kontakte mit ihrer ersten zulässigen Aktivierung aus der genannten Produktereignisquelle jeweils höchstens einmal. Behalte nicht angeschriebene Ausfälle in ihrer zugewiesenen Gruppe und kennzeichne Quoten allein unter Zustellungen als sekundäre Diagnose. Unterscheide fehlende Ereignisse von einer nicht verfügbaren Quelle. Zeige Zähler, ursprünglich zugewiesene Nenner, nicht angeschriebene Ausfälle, Protokollabweichungen und Abrufzeiten der Berichte. Sage, ob geplante Stichprobe und Entscheidungsregel erfüllt wurden. Leite aus Klicks keine Verkäufe ab und nutze Öffnungen nicht als primäres Ergebnis. Teile Kontakte nicht neu zu, erkläre nicht vorzeitig eine Sieger-Variante, erstelle oder versende keine Kampagne und ändere keine Kontakte. Schlage einen nächsten Test als Entwurf mit Hypothese und nötiger Freigabe vor.

Prüfung: Vergleiche Brevos Zustell- und Beschwerdezahlen mit dem Kampagnenbericht zum gleichen Abrufzeitpunkt. Dokumentiere, ob seine Filter für Apple Mail Privacy Protection und Bot-Aktivität angewendet wurden; Brevo zählt diese Aktivität standardmäßig mit. Der Leitfaden zu E-Mail-Kennzahlen erklärt, warum Öffnungen irreführen können. Berichte Testphase und eventuellen späteren Rollout getrennt.

Ein gültiges Ergebnis nennt zulässige Grundgesamtheit, Zuteilung, tatsächliche Exposition, Ergebnisquelle, Zeitfenster und Unsicherheit. Ist die vorab festgelegte Entscheidungsregel nicht erfüllt, vermerke „nicht eindeutig“ und entwirf den nächsten Test. Miss unterschiedliche Kontakte mit Aktivierung innerhalb von sieben Tagen je ursprünglich zugewiesenem Kontakt in A, B und Kontrollgruppe ab demselben geplanten Kohortenstart. Zeige Zustellungen, Beschwerden und nicht angeschriebene Ausfälle separat. Quoten allein unter Zustellungen sind sekundäre Diagnosen, weil Zustellung nach der Randomisierung erfolgt. Ohne gültige Zufallszuteilung oder Ergebnisquelle ist ein Unterschied beschreibend, nicht kausal. Die Entscheidung muss anhand des Protokolls reproduzierbar sein. Vergleiche den getrennten Nachbereitungsprozess für Produktfeedback.