แคมเปญทดลองใช้ฟรี สมมติ มีผู้ติดต่อที่เข้าเกณฑ์ 120 คนและหัวเรื่องที่เสนอสองแบบ จุดเริ่มงานคือการตัดสินใจก่อนปล่อย การมีคลิกเพิ่มหลังให้เวลาเพิ่มสองวันไม่ใช่ชัยชนะ
ทีมอยากทราบว่าหัวเรื่องที่เน้นประโยชน์จริงทำให้ผู้ใช้เริ่มใช้ผลิตภัณฑ์สำเร็จมากกว่าแบบชวนสงสัยหรือไม่ คำถามเกี่ยวกับการเริ่มใช้งาน ไม่ใช่การเปิด ตัวอย่าง Marketing Analyst ของ xAI เน้นตัวเลขที่มีแหล่งและช่วงเวลาตรงกัน ใช้หลักเดียวกันเมื่อ Grok Bot ร่างแผนทดสอบ เรายังไม่ได้รันการเชื่อมต่อ Grok Bot กับ Brevo นี้ในบัญชีจริง
ตรึงคำถามและผู้เข้าร่วม
เขียนหนึ่งประโยคก่อนสร้างแคมเปญ: “ในผู้ติดต่อช่วงทดลองที่เข้าเกณฑ์และสมัครรับแล้ว หัวเรื่อง B เปลี่ยนการเริ่มใช้งานสำเร็จภายในเจ็ดวันนับจากเวลาเริ่มกลุ่มตามกำหนดที่บันทึกไว้เมื่อเทียบกับหัวเรื่อง A หรือไม่” คงเนื้อหา ข้อเสนอ URL และเวลาส่ง บันทึกเวลาเริ่มตามกำหนดหนึ่งจุดสำหรับทั้งกลุ่ม กำหนดเหตุการณ์เริ่มใช้งานในระบบผลิตภัณฑ์ คีย์ตัวตนผู้ติดต่อ และการจัดการเหตุการณ์ล่าช้า หากจับคู่แหล่งนั้นกับผู้รับ Brevo ไม่ได้ การทดลองวัดคลิกได้แต่ตอบคำถามการเริ่มใช้งานไม่ได้
ใช้ระเบียนสมัครและระงับส่งล่าสุด ไม่ใช่การมีชื่อใน CRM หรือโดเมนบริษัท เพื่อกำหนดคุณสมบัติ ตัดข้อมูลซ้ำ อีเมลตีกลับ ผู้ยกเลิกสมัคร ผู้เริ่มใช้แล้ว และผู้ที่อยู่ในการทดสอบขัดกัน ตรึงรหัสที่เข้าเกณฑ์และจัดกลุ่มครั้งเดียวด้วยวิธีสุ่มที่ทำซ้ำได้พร้อมรหัสการทดลอง บันทึกการจัดกลุ่มก่อนส่งใด ๆ ตรวจความยินยอมและระงับส่งอีกครั้งทันทีก่อนส่ง บันทึกคนที่เพิ่งหมดคุณสมบัติเป็นกรณีไม่ส่งในกลุ่มเดิม ห้ามย้ายกลุ่มหรือแอบตัดออกจากการวิเคราะห์หลัก
กลุ่ม สมมติ นี้อาจแบ่ง 48 คนเข้า A อีก 48 เข้า B และ 24 เป็นกลุ่มควบคุมไม่ส่ง นี่คือการเสนอกลุ่ม ไม่ใช่ผลหรือคำแนะนำขนาดตัวอย่าง คำนวณตัวอย่างที่ต้องใช้จากค่าฐานจริงและผลที่มีประโยชน์ก่อนเริ่ม การทดสอบเล็กอาจพิสูจน์เพียงว่าระบบวัดทำงาน อ่าน คู่มือทดสอบ A/B เพื่อวางแผนตัวอย่าง
| ระเบียน | ฟิลด์ที่ต้องมี | การตรวจที่แน่นอน |
|---|---|---|
| คุณสมบัติ | รหัสผู้ติดต่อ แหล่งสมัคร สถานะระงับส่ง เวลาตรึง | ทุกคนที่จัดกลุ่มมีคุณสมบัติตอนตรึง |
| การจัดกลุ่ม | รหัสทดลอง รหัสผู้ติดต่อ กลุ่ม เวลาจัด | หนึ่งกลุ่มต่อคน กลุ่มควบคุมไม่รับข้อความทดลอง |
| ผลลัพธ์ | รหัสเหตุการณ์ รหัสผู้ติดต่อ เวลาเหตุการณ์ แหล่ง | การเริ่มใช้ที่เข้าเกณฑ์ครั้งแรกของแต่ละคนในช่วงเจ็ดวันเดียวกันจากจุดเริ่มกลุ่มร่วมกันสำหรับทุกกลุ่ม |
ตั้งการส่งที่เคารพขั้นตอนตรวจ
แคมเปญ A/B ในตัว Brevo ทดสอบหัวเรื่องสองแบบ หรือ เนื้อหาสองแบบกับตัวอย่างเท่ากัน เลือกผู้ชนะจากเปิดหรือคลิก แล้วส่งให้ส่วนที่เหลืออัตโนมัติ จึงเหมาะเฉพาะเมื่ออนุมัติการส่งต่ออัตโนมัติก่อนเริ่มแล้ว ไม่มีการพักให้คนตรวจผลแรก
สำหรับการทดลองนี้ ให้ผู้ปฏิบัติงานหรือเครื่องมือที่อนุมัติและตรวจแล้วจับคู่กลุ่มที่ตรึงกับรายการหรือเซกเมนต์ผู้รับ Brevo อย่างชัดเจน สร้างฉบับร่างแคมเปญสองรายการที่ยังไม่ตั้งเวลา สำหรับ A และ B โดยใช้ผู้ส่ง เนื้อหา ปลายทาง และช่วงกำหนดเดียวกัน ไม่รวมกลุ่มควบคุมในทั้งคู่ ตรวจรายการหรือเซกเมนต์ทุกชุดกับบันทึกจัดกลุ่ม ตรวจระงับส่งอีกครั้ง และแน่ใจว่าการจับคู่ไม่ไปกระตุ้นระบบอัตโนมัติอื่น เปรียบเทียบจำนวนผู้รับจริงและพรีวิว แล้วอนุญาตการส่งแต่ละครั้ง หากตรวจพิสูจน์การจับคู่ใน Brevo ไม่ได้ ให้หยุดก่อนส่ง คู่มือเชื่อมต่อเริ่มต้น อธิบายว่าทำไม MCP server ที่จำกัดงานไม่ได้จำกัดสิทธิ์ด้วยตัวเอง
กำหนดเกณฑ์ร้องเรียนล่วงหน้าและหยุดการส่งที่รออยู่เมื่อเกินเกณฑ์ เก็บการจัดกลุ่มและการส่งถึงที่เกิดขึ้นบางส่วน การทดสอบที่หยุดไม่ใช่ชัยชนะของกลุ่มที่บังเอิญส่งก่อน แสดงจำนวนยกเลิกสมัครและตีกลับคู่กับผลหลัก คู่มือยืนยันการสมัครสองขั้นตอน อธิบายขอบเขตการสมัคร
ขอรายงาน แล้วเลือกการทดลองถัดไป
คัดลอกพรอมป์ต์นี้หลังให้บันทึกจัดกลุ่มที่ตรึงแล้วและรายงานที่มีวันที่:
วิเคราะห์เฉพาะรหัสทดลองและแหล่งที่ฉันให้ กระทบยอดผู้มีคุณสมบัติ การจัด A/B/ควบคุม ผู้รับจริง ส่งถึง ตีกลับ ยกเลิกสมัคร และร้องเรียนแยกกลุ่ม ใช้เวลาเริ่มกลุ่มตามกำหนดที่บันทึกไว้เพียงจุดเดียวเป็นวันที่ศูนย์สำหรับทุกคนใน A, B และควบคุม วัดช่วงเจ็ดวันเดียวกันและหารด้วยผู้ติดต่อที่จัดกลุ่มแต่แรกในแต่ละกลุ่ม ลบรหัสเหตุการณ์ซ้ำ แล้วนับผู้ติดต่อแต่ละคนที่เริ่มใช้งานเข้าเกณฑ์ครั้งแรกไม่เกินคนละครั้งจากแหล่งเหตุการณ์ผลิตภัณฑ์ที่ระบุ คงผู้ไม่ได้รับการส่งไว้ในกลุ่มที่จัด และระบุอัตราที่คิดเฉพาะส่งถึงเป็นการวินิจฉัยรอง แยกเหตุการณ์ที่หายจากแหล่งที่ใช้ไม่ได้ แสดงตัวตั้ง ตัวหารที่จัดกลุ่มเดิม กรณีไม่ส่ง การเบี่ยงจากขั้นตอน และเวลาดึงรายงาน ระบุว่าขนาดตัวอย่างและกฎตัดสินที่วางไว้ผ่านหรือไม่ อย่าอนุมานยอดขายจากคลิกหรือใช้เปิดเป็นผลหลัก อย่าจัดกลุ่มใหม่ ประกาศชนะก่อนเวลา สร้างหรือส่งแคมเปญ หรือเปลี่ยนผู้ติดต่อ เสนอการทดลองถัดไปหนึ่งรายการเป็นฉบับร่าง พร้อมสมมติฐานและการอนุมัติที่ต้องมี
ตรวจ: เปรียบเทียบยอดส่งถึงและร้องเรียนของ Brevo กับ รายงานแคมเปญ ณ เวลาดึงเดียวกัน ระบุว่าใช้ตัวกรอง Apple Mail Privacy Protection และกิจกรรมบอตหรือไม่ Brevo รวมกิจกรรมเหล่านี้ตามค่าเริ่มต้น คู่มือตัวชี้วัดอีเมล อธิบายว่าทำไมการเปิดอาจทำให้เข้าใจผิด รายงานช่วงทดลองและการส่งต่อภายหลังแยกกัน
ผลที่ใช้ได้ต้องระบุกลุ่มมีคุณสมบัติ การจัดกลุ่ม การได้รับข้อความจริง แหล่งผล ช่วงเวลา และความไม่แน่นอน หากไม่ผ่านกฎตัดสินล่วงหน้า ให้บันทึกว่า “ยังสรุปไม่ได้” แล้วร่างการทดสอบต่อ วัดจำนวนคนเริ่มใช้ไม่ซ้ำภายในเจ็ดวันต่อผู้ติดต่อที่จัดแต่แรกใน A, B และควบคุม จากเวลาเริ่มตามกำหนดเดียวกัน แสดงส่งถึง ร้องเรียน และกรณีไม่ส่งแยกกัน อัตราเฉพาะส่งถึงเป็นการวินิจฉัยรองเพราะการส่งถึงเกิดหลังการสุ่ม หากไม่มีการสุ่มที่ถูกต้องหรือแหล่งผล ความต่างเป็นเพียงคำอธิบาย ไม่ใช่เหตุและผล ต้องทำซ้ำการตัดสินจากบันทึกได้ เปรียบเทียบกับ การติดตามคำขอฟีเจอร์ ซึ่งเป็นอีกเส้นทางหนึ่ง
คำถามที่พบบ่อย
Grok Bot ประกาศแคมเปญ Brevo ที่ชนะจากคลิกได้หรือไม่
ได้เฉพาะเมื่อคลิกเป็นผลที่กำหนดล่วงหน้าและการเปรียบเทียบคงที่มีหลักฐานพอ คลิกไม่พิสูจน์ยอดขาย หากถามเรื่องยอดขาย ให้ใช้แหล่งคำสั่งซื้อที่เชื่อมต่อพร้อมกฎระบุที่มาและช่วงสังเกตชัดเจน มิฉะนั้นให้รายงานว่าไม่มีข้อมูลยอดขาย
การทดสอบ A/B ในตัว Brevo รอให้ฉันตรวจก่อนส่งแบบที่ชนะหรือไม่
ไม่รอ Brevo ระบุว่าจะส่งแบบที่เลือกว่าชนะให้กลุ่มที่เหลืออัตโนมัติหลังช่วงทดสอบ ใช้โหมดนี้เฉพาะเมื่ออนุมัติแบบทดสอบ ตัวชี้วัด และการส่งต่อไว้ก่อนแล้ว หากต้องมีจุดตรวจ ให้ใช้รายการหรือเซกเมนต์ผู้รับและแคมเปญที่ตรวจและอนุมัติแยกกัน
ควรทำอย่างไรหากการร้องเรียนเพิ่มระหว่างทดสอบ
ใช้เกณฑ์หยุดที่กำหนดก่อนเริ่ม หยุดการส่งที่รออยู่ เก็บบันทึกการจัดกลุ่มและส่งถึง แล้วตรวจที่มาของการร้องเรียน อย่าเลือกผู้ชนะเงียบ ๆ หรือย้ายกลุ่มผู้ติดต่อหลังหยุด