شما به‌عنوان یک بازاریاب چطور متوجه می‌شوید که هزینه‌ای که برای بازاریابی و تبلیغات صرف می‌کنید واقعا در جهت درست و اصولی هزینه شده است؟ و اینکه آیا می‌دانید که تبلیغات شما واقعاً بر رفتار مصرف‌کننده تأثیر مثبت می‌گذارد یا خیر؟

واقعیت این است که تنها با یک نوع اندازه‎‌گیری خاصی از داده‌ها می‌توان خیلی واضح و روشن به سوالات بالا پاسخ داد و آن، تست incrementality نامیده می‌شود.

تست incrementality بازگشت سرمایه‌ی واقعی و پنهانی که در پی تبلیغات برایتان ایجاد می‌شود را اندازه‌گیری می‌کند؛ اما چرا پنهان؟

مرز بین ترافیک ارگانیک و غیرارگانیک اپلیکیشن‌ها اغلب مبهم است و این امکان کاملا وجود دارد که شما برای جذب کاربرانی هزینه کنید که در هر صورت و بدون هیچ تبلیغاتی به کاربر اپلیکیشن شما تبدیل می‌شدند.

تست incrementality بهترین راه برای کشف این رابطه‌ی پنهان و درنهایت دانستن ارزش واقعی تبلیغات است (منظور از ارزش واقعی تبلیغات این است که شما بعد از اجرای یک کمپین چه تعداد بیشتری کاربر نسبت به حالت ارگانیک برای اپلیکیشن ایجاد می‌کنید).

تست incrementality چیزی فراتر از متوقف کردن کمپین‌های بازاریابی و تجزیه‌وتحلیل نتایج آن کمپین است و اجرای این نوع تست‌ها کمی دشواری است؛ بنابراین ما تصمیم گرفتیم که در این بلاگ و بلاگ بعدی به این موضوع بپردازیم و به شما نشان دهیم که چگونه تست incrementality را انجام دهید و نتایج آن را تفسیر کنید.

 

اثر تست incrementality چگونه مشخص می‌شود؟

تست incrementality شامل دو گروه از مخاطبان است؛ گروهی که مورد آزمایش قرار می‌گیرد (test group) و گروهی که کنترل می‌شود (control group). گروه آزمایش‌شده در معرض تبلیغات قرار می‌گیرد درحالی‌که گروه کنترل‌شده برای تجزیه و تحلیل نتیجه‌ی تست کنار گذاشته می‌شود.

با اندازه‌گیری نتایج هر گروه، متوجه می‌شوید که کدام کاربر -چه مربوط به نتیجه‌ی کمپین جذب کاربر جدید باشد چه بازاریابی مجدد- تنها با تبلیغات می‌توانست به کاربر اپلیکیشن تبدیل شود؛ و این به‌عنوان اثر افزایشی این تست (incremental lift) شناخته می‌شود.

به‌عنوان‌مثال، فرض کنید که یک رستورانی تصمیم دارد که یک نوع جدیدی از پیتزا را با استفاده از تبلیغات تخفیفی بفروشد و درنهایت می‌خواهد تعیین کند که کمپین تبلیغاتی آن‌ها چقدر موفق بوده است. آنها پس از یک ماه توزیع کوپن تخفیف به عابران و کاربران، اندازه‌ می‌گیرند که چه تعداد از پیتزاهای جدید با استفاده از کوپن و چه تعداد از آن‌ها بدون کوپن خریداری شده است. تفاوت در تعداد فروش بین دو گروه از مشتریان، اثر افزایشی incremental نامیده می‌شود.

بررسی 3 نوع اثر incremental

انجام تست incrementality می‌تواند نتایج مختلفی به شرح زیر داشته باشد:

در اولین مثال می‌توانیم ببینیم که آزمایش منجر به اثر افزایشی مثبت شد. این بدان معناست که کمپین تبلیغاتی شما مؤثر بوده؛ چون باعث افزایش درآمد شده است.

در مثال دوم هیچ اثر افزایشی وجود ندارد و نتایج خنثی می‌ماند. درحالی‌که کمپین در حال ایجاد فرصت‌های فروش است اما ارزش افزوده‌ای نسبت به گروه کنترل‌شده برای شما ایجاد نمی‌کند و تیم بازاریابی باید کمپین را متوقف کند یا رویکرد متفاوتی را امتحان کند (تغییر نوع تبلیغات، تغییر مخاطبان هدف و …)

در مثال پایانی، ما یک اثر افزایشی منفی را می‌بینیم. هرچند این اتفاق نادر است اما در شرایطی ممکن است که یک کمپین تبلیغاتی بیشتر از اینکه مفید باشد، ضرر داشته باشد (به‌عنوان ‌مثال، قرار گرفتن بیش ‌از حد در معرض یک کمپین بازاریابی مجدد که منجر به ایجاد تأثیر منفی برای برند می‌شود).

 

تست incrementality چگونه کار می‌کند؟

قبل از اینکه به نحوه‌ی عملکرد تست incrementality بپردازیم اجازه دهید با برخی از اصطلاحات و معیارهای کلیدی مربوط به آن آشنا شویم؛ در زیر برخی از تعاریف اصطلاحات وجود دارد که به ما در درک بهتر این فرآیند کمک می‌کند.

1. شاخص‌های کلیدی عملکرد (KPI): یک معیار قابل‌اندازه‌گیری است که نشان می‌دهد یک شرکت صاحب اپلیکیشن تا چه حد به اهداف تجاری تعیین‌شده در KPI خود دست می‌یابد.
2. Control group: دسته‌ای از کاربران که در معرض تبلیغات یک کمپین قرار نمی‌گیرند.
3. Test group: دسته‌ای از کاربران که تبلیغات را در یک کمپین مشخص مشاهده می‌کنند.
4. Statistical significance: یک معیار برای اندازه‌گیری این احتمال که تفاوت در نتایج گروه‌های کنترل‌شده و آزمایش‌شده تصادفی نیست.
5. incremental lift (اثر افزایشی incremental): درصد تفاوت در نتایج گروه آزمایش‌شده با گروه کنترل‌شده.

تست incrementality مشابه سایر آزمایشات علمی است؛ به این صورت که شما فرضیه، روش، جمع‌آوری و تجزیه‌وتحلیل داده و نتیجه‌گیری دارید. در تست incrementality پنج مرحله‌ی مجزا وجود دارد: تعریف، دسته‌بندی، اجرا، تجزیه‌وتحلیل و اقدام.

در ادامه با این مراحل آشنا خواهید شد.

1. اهداف خود را مشخص کنید.

هنگام شروع تست incrementality، ابتدا باید فرضیه‌ی خود را تعریف کنید و هر KPI حیاتی کسب‌وکارتان را که می‌خواهید روی آن بیشتر تمرکز کنید، شناسایی کنید. درمورد این فکر کنید که با انجام این آزمایش می‌خواهید به چه نتایجی دست پیدا کنید. به‌عنوان‌مثال، آیا تعداد نصب‌ها، ROI، ROAS و … را می‌خواهید بررسی کنید یا اهداف دیگری دارید.

 

2. مخاطبان را دسته‌بندی کنید.

هنگام اجرای یک تست incrementality در کمپین بازاریابی مجدد، دسته مخاطبی را که می‌خواهید این آزمایش را روی آن‌ اجرا کنید انتخاب کنید و دقت کنید که حتما بخشی از این مخاطبان را به عنوان گروه کنترل‌شده کنار بگذارید.

نکته‌ی مهم: پلتفرم‌های اتریبیوشن به‌احتمال‌ زیاد می‌توانند به شما کمک کنند تا مخاطبان خود را همان‌طور که می‌خواهید دسته‌بندی کنید و کمپین‌های خود را بر اساس آن بسازید.

توجه کنید که گروه‌های کنترل‌شده و آزمایش‌شده باید ویژگی‌های مشابه داشته باشند اما باهم همپوشانی نداشته باشد.

دسته‌بندی مخاطبان هنگام تمرکز بر کمپین‌های UA (جذب کاربر جدید) می‌تواند دشوار باشد؛ چون شما قبلا مخاطب را هدف قرار نداده‌اید و هیچ شناسه‌ی منحصر به فردی از آنها ندارید، بنابراین مخاطب را نمی‌شناسید.

بااین‌حال، عوامل شناسایی دیگری وجود دارد که می‌توانید مخاطبان خود را با آن‌ها دسته‌بندی کنید، ازجمله پارامترهایی مانند جغرافیا و …

3. آزمایش را اجرا کنید.

در این مرحله ابتدا طول ‌زمان آزمایش را تعیین کنید و سپس آن را اجرا کنید. تجربه نشان داده که مدت‌زمان آزمایش شما باید حداقل یک هفته باشد.

 

4. داده‌ها را تحلیل کنید.

هنگامی‌که تمام داده‌ها را از گروه‌های کنترل‌شده و آزمایش‌شده جمع‌آوری کردید، با توجه به اهداف خود، برای شناسایی اثر افزایشی incremental در یک KPI خاص، آن‌ها را کنار هم قرار دهید و مقایسه کنید.

درک رابطه‌ی بین نتایج گروه‌های کنترل‌شده و آزمایش‌شده، به توضیح اینکه چرا یک اثر افزایشی مثبت، منفی یا خنثی وجود دارد کمک خواهد کرد.

اگر اختلاف زیادی بین گروه‌های کنترل‌شده و آزمایش‌شده دیدید، ممکن است نشان‌دهنده‌ی این باشد که مشکلی در آزمایش وجود دارد و مجبور باشید برای دست‌یابی به نتایج دقیق‌تر، دوباره آزمایش کنید.

راه‌اندازی و اجرای تست incrementality به طور مستقل می‌تواند چالش‌برانگیز باشد، اما پلتفرم‌های اتریبیوشنی وجود دارند که ابزارهای یکپارچه‌ای برای اجرای این تست ارائه می‌دهند. به این صورت که بعد از آزمایش، می‌توانید تمام داده‌های مربوط به آزمایش را مستقیماً از پلتفرم اتریبیوشن وارد داشبوردتان کنید؛ درواقع استفاده از این ابزارها فرآیند را ساده‌تر و کارآمدتر می‌کند.

 

5. اقدام کنید!

در این مرحله باید بر اساس اطلاعات و دیدگاهی که از این آزمایش به دست آورده‌اید، در کمپین‌های خود بازنگری کنید تا تأثیر آن‌ها را به حداکثر برسانید. این دیدگاه جدید می‌تواند منجر به ایجاد بهترین پیام برای هر مخاطب هدف، انتخاب مطلوب‌ترین زمان برای تعامل مجدد یا پیدا کردن بهترین منابع برای اجرای کمپین‌هایتان شود.

 

دو روش کلیدی برای اندازه‌گیری incrementality

ممکن است این سؤال برایتان پیش بیاید که هنگامی‌که داده‌ها را جمع‌آوری کردید، چگونه می‌توانید به محاسبه‌ی اثر افزایشی incrementality بپردازید؟

دو روش اصلی برای محاسبه وجود دارد:

 

1. سود incremental

در این روش می‌توانید با تعیین دقیق سود حاصل، ارزش واقعی یک منبع تبلیغاتی را بسنجید؛ این ارزش با کم کردن سود حاصل از منبع تبلیغاتی (گروه آزمایش‌شده) از منبع ارگانیک (گروه کنترل‌شده) به دست می‌آید.

به‌عنوان‌مثال، فرض کنید 2000 دلار برای یک کمپین خرج کرده‌اید و درنهایت منبع تبلیغاتی A پنج هزار دلار سود و منبع تبلیغاتی B سه هزار دلار سود داشته‌اند. در ظاهر، هر دو منبع سودآور به نظر می‌رسند؛ این در حالی است که منبع ارگانیک شما نیز سه هزار دلار تولید سود کرده و درواقع سود واقعی حاصل از منبع تبلیغاتی A دو هزار دلار و سود حاصل از منبع تبلیغاتی B صفر است؛ چون منبع ارگانیک شما هم بدون هیچ تبلیغاتی به سه هزار دلار سود رسیده است.

با تعیین دقیق میزان سودی که از طریق گروه کنترل‌شده (منبع ارگانیک) به دست می‌آورید، می‌بینید که هر مقداری کمتر از آن باشد به این معنی است که درواقع هیچ سود واقعی‌ای برایتان ایجاد نشده است؛ چون حتی بدون تبلیغات هم همان سود را خواهید داشت و با تبلیغ نکردن برای آن‌ گروه می‌توانید بودجه‌ی خود را در کمپین دیگری هزینه کنید.

 

2. اثر افزایشی (incremental lift)

برای محاسبه‌ی incremental lift از فرمول زیر استفاده کنید:

برای اینکه فرمول بالا را با اعداد بتوانید محاسبه کنید بیاید یک مثال را بررسی کنیم، مثلا فرض کنید که بعد از اجرای تست، گروه آزمایش‌شده و کنترل‌شده به ترتیب تعداد 10000 و 8000 تبدیل ایجاد کرده‌اند؛ پس 10000 منهای 8000 تقسیم‌بر 8000 برابر است با 0.25.

مقدار 0.25 را می‌توان در برابر KPI و ROAS شما خوب یا بد ارزیابی کرد.

یک راه دیگر برای تست این مورد وجود دارد که در آن باید این مقدار را درمقابل “هزینه” اندازه‌گیری کنید. یعنی هزینه‌ی ایجاد هر تبدیل (CPA) را بر عدد incremental lift تقسیم کنید تا ببینید آیا برابر با میزان LTV شما هست یا خیر.

به‌عنوان ‌مثال، اگر CPA شما 2 دلار هزینه دارد، آن را بر 0.25 تقسیم کنید که برابر با 8 دلار می‌شود؛ اگر LTV شما بیشتر از 8 دلار است، به این معنی است که کمپین شما به‌خوبی کار می‌کند و اگر کمتر از آن باشد، ممکن است لازم باشد که استراتژی تبلیغات خود را دوباره ارزیابی کنید.