آیا تست incrementality با A/B تست فرق می‌کند؟

اکنون که منطق تست Incrementality را درک کرده‌اید، ممکن است این سؤال برایتان ایجاد شود که آیا واقعاً این آزمایش با  A/B تست فرق می‌کند یا نه!

اولین چیزی که باید روی آن تأکید کرد این است که تست incrementality اساسا یک نوع A/B تست است. در تست استاندارد A/B، محصول یا کمپین شما به دو بخش A و B تقسیم می‌شود و سپس مخاطبان نیز به دو دسته‌‌ی 1 و 2 تقسیم می‌شوند؛ سپس شما باید نسخه‌های مختلف محصول یا کمپین را برای مخاطبان مختلف اعمال ‌کنید و ببینید کدام‌یک منجر به نتایج بهتری می‌شود!

مثلا یک گروه مخاطب را مورد هدف تبلیغ بنری با دکمه‌ی آبی رنگ قرار می‌دهید و گروه دیگر همان بنر را با دکمه‌ی قرمز رنگ می‌بینند.

تنها جایی که A/B تست با تست incrementality متفاوت است، مربوط به گروه کنترل‌شده است، چون این گروه در مدت‌زمان اجرای تست اصلا در معرض هیچ‌گونه تبلیغاتی قرار نمی‌گیرد.

اگر به مثال بالا برگردیم می‌بینیم که درواقع هدف از اجرای تست incrementality این است که به ما اطلاع دهد که آیا اجرای یک تبلیغ خاص بهتر از اجرا نشدن آن است یا نه! اما A/B تست به ما می‌گوید که مثلا تبلیغ بنری با دکمه‌ی آبی رنگ بهتر است یا قرمز رنگ!

تست incrementality با بهینه‌سازی ROAS چه تفاوتی دارد؟

تست incrementality جایگزینی برای مدل‌های سنتی اتریبیوشن نیست. این نوع آزمایش در کنار اتریبیوشن کار می‌کند تا به شما کمک کند عملکرد تبلیغات خود را بهتر اندازه‌گیری کنید.

توجه: اگر فقط نصب‌ها را اندازه‌گیری می‌کنید باید بدانید که این فاکتور (نصب‌ها) برای درک ROAS کافی نیست.

شما به‌عنوان یک بازاریاب باید بر اساس طیف وسیعی از معیارهای پس از نصب، کمپین‌ها را اندازه‌گیری و بهینه‌سازی کنید و با تمرکز بر LTV و مهم‌تر از همه اندازه‌گیری هزینه‌های تبلیغات خود، ببینید که آیا ROAS شما مثبت است یا نه!

incrementality در همین زمینه به شما کمک می‌کند و نشان می‌دهد که آیا می‌توانید با صرف هزینه‌ی کمتر برای تبلیغات همچنان درآمدی را از دست ندهید و به تبع آن، ROAS بهتری داشته باشید!

تأثیر تست incrementality بر ROAS (معروف به iROAS) با محاسبه‌ی تفاوت بین درآمد ناشی از گروه آزمایش‌شده و گروه کنترل‌شده و تقسیم آن بر کل هزینه‌ی تبلیغات به‌دست می‌آید. با حذف تبدیل‌های ارگانیک از معادله، می‌توانید تأثیر واقعی یک کمپین را محاسبه کنید و بر اساس آن نیز بهینه‌سازی را انجام دهید.

به‌عنوان‌مثال، اگر iROAS شما کمتر از 100% است، می‌توانید بودجه‌ها را به کمپین‌ها و کانال‌های با عملکرد بهتر اختصاص دهید. اگر هم برابر یا بیشتر از 100٪ باشد، به این معنی است که تبلیغات شما مؤثر است و کاربرانی که پتانسیل مشتری شدن به صورت ارگانیک دارند را مخاطب تبلیغاتتان قرار نداده‌اید.

با در نظر گرفتن تست incrementality در محاسبه‌ی معیارROAS، بازاریابان به یک لایه‌ی اضافی و حیاتی از اطلاعات برای بهینه‌سازی ROAS دست پیدا خواهند کرد.

بررسی مزایای تست incrementality

بازاریابانی که از تست incrementality استفاده می‌کنند، می‌توانند با اطمینان نشان دهند که کمپین آن‌ها چقدر مؤثر بوده است! آن‌ها با استفاده از این تست نه‌تنها تأثیر آن را بر iROAS خود شناسایی کرده‌اند، بلکه می‌توانند از دیدگاه جدیدی که به‌دست آورده‌اند در چیدن استراتژی مارکتینگ خود در آینده استفاده کنند.

به‌عنوان‌مثال، انجام تست incrementality هنگام اجرای کمپین با یک منبع تبلیغاتی جدید و قبل از اینکه تصمیم‌ بگیرید تا به آن منبع بودجه‌ی بیشتری را اختصاص دهید، برایتان بسیار مفید خواهد بود. همچنین می‌توانید از تست incrementality در کمپین‌های تبلیغاتی کوچک نیز استفاده کنید تا ببینید نتیجه منجر به  ROAS مثبت می‌شود یا خیر! اگر پاسخ مثبت بود، می‌توانید با اطمینان خاطر بودجه‌ی تبلیغاتی خود را در آن منبع گسترش دهید.

مثال دیگری که در آن تست incrementality سودمند خواهد بود زمانی است که می‌خواهید یک استراتژی برای تعامل مجدد با مشتریانتان ایجاد کنید. درواقع این تست به مشخص کردن بهترین زمان پس از نصب، برای تعامل مجدد با کاربران و اطمینان از حصول بالاترین incremental lift کمک می‌کند. (برای اطلاع از نحوه‌ی محاسبه‌ی incremental lift به بلاگ قبلی متریکس رجوع کنید)

با داشتن این دانش، شما به‌عنوان یک بازاریاب قادر خواهید بود تصمیمات آگاهانه‌تری در مورد اینکه کدام کانال‌ها بیشترین تأثیر (از لحاظ واقعی بودن تاثیر) را دارند و اینکه کجا بودجه‌ی بازاریابی خود را سرمایه‌گذاری کنید، بگیرید.

بررسی چالش‌های تست incrementality

هیچ آزمایشی بدون چالش نیست و تست incrementality نیز از این قاعده مستثنی نیست.

هنگام ایجاد گروه‌های کنترل‌شده و آزمایش‌شده، مهم است که هرگونه عامل خارجی را که ممکن است بر رفتار کاربر تأثیر بگذارد حذف کنید. همچنین باید مطمئن شوید که گروه‌های مخاطبین باهم همپوشانی ندارند زیرا هم‌پوشانی در مخاطبان ممکن است نتایج را تغییر دهد.

تصمیم‌گیری درمورد پارامترهای آزمایش نیز مسئله‌ی چالش‌برانگیزی در تست incrementality است.

همانطور که می‌دانید هر اپلیکیشنی با حجم متفاوتی از کاربران روبه‌رو است؛ بنابراین شما باید بهترین تعداد از کاربران را برای اجرای آزمایش انتخاب کنید بدون اینکه به تبلیغات شما آسیب برساند.

در نظر گرفتن یک بخش بسیار کوچک از کاربران نتایج شمارا بی‌معنی می‌کند و چندان دقیق نخواهد بود، بنابراین باید تصمیم بگیرید که آیا می‌خواهید به ایده‌آل‌ترین نتیجه برسید که به آن اعتماد هم داشته باشید یا برایتان مهم است که هزینه‌ای که یک تست طولانی‌مدت ایجاد می‌کند را درنظر بگیرید!

یک چالش دیگر مسئله‌ی توقف کمپین‌های بازاریابی برای اجرای تست است. همیشه نمی‌توان تمام کمپین‌های بازاریابی خود را برای یک هفته یا یک ماه متوقف کنید تا آزمایش را انجام دهید، بنابراین اگر می‌خواهید بدون صرف زمان زیاد و منتظر ماندن، آزمایش را انجام دهید و نتیجه را ببینید، توصیه می‌شود کمپینی که پایین‌ترین عملکرد را دارد انتخاب کنید و تست‌ را آنجا انجام دهید.

شناسایی و حذف داده‌های نادرست چالش دیگری در آزمایش incrementality است؛ زیرا این امر می‌تواند مسیر را به سمت یک نتیجه‌گیری نادرست منحرف کند. حجم داده روی اینکه داده‌های نادرست تا چقدر نتیجه‌ی نهایی را منحرف می‌کنند اثرگذار است؛ بنابراین دوباره به این موضوع رسیدیم که حجم داده و تعیین درست تعداد مخاطبان یکی از فاکتورهای مهم در انجام این آزمایش است.

فصلی بودن داده‌ها مسئله‌ی مهم دیگری در انجام تست‌های incrementality است. مناسبت‌های تقویمی مانند جمعه‌ی سیاه، تعطیلات نوروز و… روی رفتار کاربر تأثیر می‌گذارند؛ بنابراین انتخاب زمان مناسب برای شروع این آزمایش بسیار مهم است؛ مقایسه‌ی نتایج در این بازه‌های زمانی خاص با بازه‌های زمانی معمولی نتایج بسیار متفاوتی را نشان می‌دهد. شما به‌عنوان یک بازاریاب اپلیکیشن، می‌توانید بر اساس مدل کسب‌وکارتان و رفتارهای رایج کاربرانتان، بهترین چارچوب زمانی را برای اجرای تست incrementality انتخاب کنید.

و در نهایت برای انجام این تست با یک سری چالش‌های مهندسی روبه‌رو هستید. این آزمایش‌ها پیچیده هستند و به توسعه‌دهندگان و تخصص زیادی برای ایجاد بستر موردنیاز برای ارائه‌ی تأثیرگذارترین نتایج نیاز است.

به‌عنوان‌مثال، اتصال به API هر یک از شبکه‌های تبلیغاتی، دریافت و جمع‌آوری داده‌های خام، تشخیص و حذف داده‌های نادرست و … از جمله کارهایی است که باید توسط کارشناسان متخصص انجام شود.

البته استفاده از یک سرویس اتریبیوشن که تمام این ابزارها را در اختیار شما قرار می‌دهد، می‌تواند به صرفه‌جویی در زمان و هزینه‌های شما کمک شایانی کند. یک سرویس اتریبیوشن تمام داده‌های شما را جمع‌آوری می‌کند و به صورت یکپارچه در داشبورد نشان می‌دهد، بنابراین شما می‌توانید به راحتی این داده‌ها را دسته‌بندی کنید و در اجرای تست incrementality از آن استفاده کنید.

نکات کلیدی

تست incrementality ابزار قدرتمندی است که می‌تواند باعث ایجاد یک بینش واقعی و اطمینان در انتخاب منبع تبلیغاتی، تخصیص بودجه و اندازه‌گیری ROAS شود و درعین‌حال برایتان مشخص کند که آیا از تمام پتانسیل تبلیغاتی خود استفاده می‌کنید یا نه!

برای رسیدن به این هدف باید به یاد داشته باشید که:

• رویکردی جامع اتخاذ کنید، به هر دو نوع ترافیک ارگانیک و غیرارگانیک توجه کنید، و رابطه‌ی پیچیده‌ی این دو نوع ترافیک را درنظر بگیرید.
• مطمئن شوید که داده‌های شما تمیز است. عوامل اضافه، داده‌های نادرست و مخاطبینی که باهم همپوشانی دارند را حذف کنید تا مطمئن شوید آزمایش شما نتایج درست و قابل اطمینانی ارائه می‌دهد.
• KPIهای خود را قبل از ایجاد کمپین تعریف کنید و مطمئن شوید که مخاطبان خود را به‌درستی دسته‌بندی کرده‌اید.
• برای محاسبه‌ی incremental lift، داده‌ها را جمع‌آوری و با هم مقایسه کنید.
• با درک بهتر اینکه کدام کانال‌های تبلیغاتی بالاترین incremental lift را ارائه می‌دهند و کدام گروه‌ها پذیرای تبلیغات هستند و چه زمانی بهترین زمان برای تعامل مجدد با مخاطبان است، تخصیص بودجه‌های تبلیغاتی را بهینه‌سازی کنید و میزان ROAS خود را به حداکثر برسانید.

اندازه‌گیری LTV یا ROAS برای اندازه‌گیری ارزش کمپین‌هایتان حیاتی است، اما تنها با اجرای تست incrementality است که می‌توانید مهر تائید نهایی را در مورد اثربخش بودن کمپین‌ها دریافت کنید.