کاربرد آزمون A/B

از آن‌جایی که در فضای دیجیتال سنجه‌‌ها (فارغ از اعتبار آن‌ها) از یک سو در لحظه قابل سنجیدن و اندازه‌گیری هستند و از سوی دیگر امکان اعمال تغییرات در لحظه وجود دارد، یک امکان باورنکردنی و رؤیایی به نام «آزمون‌های چندگانه»^۱ برای «تبلیغاتچی»‌‌ها به وجود آمده‌ است. اجازه بدهید برای این که موضوع کمی واضح‌تر شود، با یک مثال از بازاریابی ایمیلی موضوع را روشن کنیم. نرخ باز شدن^۲ ایمیل و نرخ کلیک شدن روی لینک‌های داخل ایمیل معمولاً مهم‌ترین سنجه‌هایی هستند که توسط بازاریاب دیجیتال درباره هر ایمیل مورد بررسی قرار می‌گیرد. حال اگر بررسی کنیم که با تغییر چه عوامل یا فاکتورهایی می‌توانیم روی این دو سنجه تغییر ایجاد کنیم، می‌توانیم میزان اثربخشی و کارایی بازاریابی ایمیلی را ارتقا دهیم. آزمون A/B دقیقاً یعنی همین؛ یعنی با تغییر دادن فاکتورهایی که به نظر می‌رسد روی سنجه‌های مورد بررسی تأثیرگذار هستند، بهترین شرایط را برای بهینه کردن تبلیغ خود پیدا کنیم.

معمولاً فاکتورهای مؤثر بر اثر تحقیق و بررسی و یا با پرسش و تلاش برای پاسخ دادن به پرسش، حاصل می‌شود. به عنوان مثال فرض کنید شما مالک یک فروشگاه اینترنتی هستید و در فروشگاه شما انواع کتاب وجود دارد. این کتاب‌‌ها در حوزه‌های مختلف مانند رمان عاشقانه، رمان‌ پلیسی، رمان ایرانی، رمان خارجی، داستان‌های کودک و نوجوان و مانند آن دسته‌بندی شده است. حالا شما می‌خواهید یک ایمیل برای معرفی و فروش یک مجموعه داستان با عنوان «عشق‌های فراموش شده» که در واقع چند کتاب از عشق‌های قدیمی ایرانی مانند لیلی و مجنون، وامق و عذرا، بهرام و گل‌اندام و … است ارسال کنید. در لیست ایمیل شما که شامل مشتریان قدیمی فروشگاه اینترنتی شماست، حدود ۵۰۰۰ ایمیل وجود دارد. اگر بخواهیم بهترین ایمیل ممکن را که موجب بیشترین نرخ باز شدن ایمیل شود، برای مشتریان بفرستیم، ممکن است سؤالاتی از این قبیل را بر اساس مطالعه یا پرسش از کارشناس یا حدس و گمان فردی و … مطرح کنیم:

آیا عنوان ایمیل ارسالی تأثیری در نرخ باز شدن ایمیل دارد؟

آیا ساعت ارسال ایمیل تأثیری در نرخ باز شدن ایمیل دارد؟

آیا دسته‌بندی کردن اعضا بر اساس رفتار قبلی خرید و ارسال ایمیل برای گروه مشخصی از اعضا تأثیری بر نرخ باز شدن ایمیل دارد؟

بعضی از سؤالات فوق می‌توانند به سؤالات فرعی تقسیم شوند. مثلاً عنوان ایمیل ارسالی می‌تواند به شکل‌هایی مورد پرسش قرار بگیرد. مثال:

اگر تعداد کلمات عنوان ایمیل کمتر از ۷ کلمه باشد احتمال باز شدن بیشتر است یا اگر بیشتر از ۸ کلمه باشد؟

اگر عنوان دستوری باشد، آیا نرخ باز شدن افزایش پیدا می‌کند؟

اگر از کلماتی مانند عشق و محبت استفاده کنیم بهتر نتیجه خواهیم گرفت یا اگر اسم عاشق و معشوق‌‌ها را در عنوان بیاوریم؟

آیا اگر از سمبل‌‌ها و یا آیکون‌ها در عنوان استفاده کنیم موجب افزایش نرخ باز شدن می‌شود؟

آیا اگر از عدد در عنوان استفاده کنیم موجب افزایش نرخ باز شدن ایمیل می‌شود؟

آیا اگر در عنوان کلمه انگلیسی هم بیاوریم موجب افزایش نرخ باز شدن ایمیل می‌شود؟

 و…

با داشتن این سؤالات، آزمون A/B این‌گونه پیاده‌سازی می‌شود:

به جای این که به ۵۰۰۰ نفر، یک ایمیل بفرستیم، به بخشی از آن‌ها یک ایمیل آزمایشی ارسال می‌کنیم. مثلاً فرض کنید دو عنوان تعیین می‌کنیم:

عشق‌هایی که فراموش شده‌اند را از دست ندهید. کلیک کنید!

مجموعه‌ی عشق‌های فراموش شده، یک عاشقانه کلاسیک‌ ایرانی است درباره عشق‌هایی که فراموش نمی‌شوند.

دو عنوان فوق، دو نمونه از سؤالات را هم‌زمان هدف می‌گیرند. کوتاه و بلند بودن عنوان و دستور یا غیردستوری بودن عنوان. حالا هر کدام را به دو شکل، یکی با چند سمبل یا علامت‌های ویژه (در این مثال، احتمالاً شکلک قلب) و یکی را بدون آن در نظر می‌گیریم. پس تا اینجا ۴ حالت داریم. از لیست ۵۰۰۰ نفره، ۱۰۰۰ نفر را به صورت تصادفی انتخاب می‌کنیم. این ۱۰۰۰ نفر را به ۴ گروه ۲۵۰ نفره (باز هم با انتخاب کاملاً تصادفی) تقسیم می‌کنیم و برای هر گروه ۲۵۰ نفره، یکی از ایمیل‌ها را با عنوان‌های تعیین شده می‌فرستیم. بعد از مدت مشخصی مثلاً ۶ تا ۱۲ ساعت (که می‌تواند تا ۲۴ ساعت هم باشد) سنجه نرخ باز شدن را بررسی می‌کنیم. هر کدام از عنوان‌‌ها که نرخ باز شدن بالاتری داشت، عنوان بهتر است. چگونه این «بهتر بودن» مشخص شد؟ با طرح فرضیه و ایجاد امکان بررسی رفتار مخاطبان واقعی، البته فقط بخشی از مخاطبان. حالا ایمیل اصلی را برای ۴۰۰۰ نفر باقی مانده، با آن عنوانی که بیشترین میزان نرخ باز شدن را داشته می‌فرستیم.

آنچه گفته شد، دقیقاً آزمون A/B بود! به همین سادگی. در این آزمون در واقع ما تلاش ‌می‌کنیم به این سؤال جواب بدهیم: این بهتر است یا آن؟ و به جای این که خودمان به این سؤال جواب بدهیم، اجازه می‌دهیم بخشی از مخاطبان به آن جواب بدهند و وقتی‌که بر اساس بررسی رفتار مصرف‌کننده، حالت بهتر را تشخیص دادیم، حالت بهینه را برای تمام جامعه هدف مورد استفاده قرار می‌دهیم.

مهم‌ترین چیز در آزمون A/B این است که بدانیم چه تبدیلی^۴ مورد نظر است (مثلاً در مثال فوق، افزایش نرخ باز شدن ایمیل). بعد باید تعیین کنیم (معمولاً با مشاوره، مطالعه، تحقیق و …) که چه عواملی ممکن است بر این سنجه تأثیرگذار باشند (در مثال فوق، عنوان ساعت ارسال، گروه دریافت‌کننده و …). نکته مهم آزمون A/B دقیقاً این است که بازاریاب دیجیتال، به جای این که خود را در جایگاه دانای کل ببیند، خود را در جایگاه آزمون‌گر می‌یابد و تلاش می‌کند فضایی را فراهم کند که مخاطبان بدون پاسخ دادن به هیچ‌گونه پرسش‌نامه رسمی (شبیه آنچه در تحقیقات رسمی و آکادمیک مرسوم است) در عمل، پاسخ‌های خود را به آزمون‌گر اعلام کنند. در واقع، این آزمون بررسی رفتار طبیعی بخشی از مصرف‌کنندگان آنلاین است، بدون این که مصرف‌کننده یا مخاطب از این که تحت آزمون است اطلاع یابد.

حالا که فرآیند کلی شرح داده شد، احتمالاً خود شما می‌توانید متوجه شوید که در همین مثال ارسال ایمیل، بعد از باز شدن ایمیل، موضوع مهم دیگری هم وجود دارد: نرخ کلیک

برای این که بتوانیم نرخ کلیک را افزایش دهیم، احتمال این پرسش‌‌ها را باید با آزمون‌های آ/ب بعدی پاسخ دهیم:

مخاطبان روی چه لینک‌هایی با چه عناوینی کلیک می‌کنند؟

طرح و ظاهر چه تأثیری بر افزایش نرخ کلیک دارد؟

آیا شکل کلید‌‌ها و تصاویر، ‌اندازه متون از نظر فونت و رنگ، حجم متن و تصویر و نسبت آن‌ها، عنوان روی لینک‌هایی که باید کلیک شود و … روی نرخ کلیک تأثیر دارد؟

این‌ها نمونه‌ سؤال‌هایی هستند که در آزمون A/B بعدی یا حتی در دل همان آزمونی که در مرحله اول انجام دادیم می‌توانیم داشته باشیم. در نهایت، هدف این است، پیام ما به مخاطبان به بهترین شکل، در زمان مناسب و با شرایط مطلوب برسد؛ به شکلی که در نهایت ما بالاترین نرخ تبدیل ممکن را داشته باشیم. انواع طراحی ظاهری را در چهار ایمیلی که ارسال کردیم استفاده می‌کنیم و مثلاً در پایان متوجه می‌شویم ایمیلی با عنوان سوم و متن دوم بهترین نرخ باز شدن و نرخ کلیک را برای ما در بر خواهد داشت.

حالا که با یک مثال ساده‌ موضوع آزمون A/B را توضیح دادیم، وقت آن رسیده که در موضوعات پیچیده‌تر فرآیند آزمون آ/ب را بررسی کنیم؟

برای این که یک تمرین سنگین انجام دهیم، بیایید تبلیغات کلیکی را مورد توجه قرار دهیم. در تبلیغات کلیکی حداقل دو مرحله تبدیل داریم (که می‌تواند بیش از دو مرحله هم باشد). مرحله اول، تبدیل کردن نمایش^۵ به کلیک و در مرحله بعد، تبدیل کردن بازدید به سرنخ فروش^۶ (با فرض این که صفحه فرود ما برای تولید سرنخ فروش باشد. البته می‌تواند برای کارهای دیگر مثل پر کردن فرم ثبت‌نام، تماس با شرکت و… نیز مورد استفاده قرار گیرد).

در چنین شرایطی، هر مرحله از تبدیل را جداگانه (یا بعداً که در این امر تبحر و تخصص پیدا کردید، به صورت ترکیبی) می‌توانیم به روش آزمون A/B امتحان کنیم. در مرحله اول، تبدیل از نمایش به بازدید را مورد توجه قرار می‌دهیم. چه پارامترهایی می‌تواند یا ممکن است امکان کلیک شدن روی یک بنر یا تبلیغ کلیکی را افزایش دهد؟ فرض کنید بر اساس یک آزمون یا یک تحقیق آزمایشگاهی یا نتیجه و تجربه تبلیغات قبلی متوجه شده‌ایم که رنگ غالب در بنر، فونت، رنگ نوشته‌‌ها، طراحی و مشخصات دکمه فراخوان^۷، ادبیات متن، تصویر و… در میزان کلیک تأثیر دارند.

همچنین فرض کنید بر اساس تجربیات گذشته متوجه می‌شویم  که این پارامتر‌‌ها هم در میزان تبدیل تأثیر دارند:

زمان نمایش بنر، موضوع سایت‌هایی که بنر در آن‌ها نمایش داده می‌شود، شهر‌هایی که بنر در آن‌ها نمایش داده می‌شود، روز هفته، موبایل یا دسک‌تاپ^۸ بودن، سیستم‌عامل، مرورگر اینترنت، محل نمایش بنر در صفحه، تکرار نمایش بنر در سایت‌‌ها مختلف، ‌اندازه بنر و …

باورکردنی نیست ولی بعضی از این پارامتر‌ها (مثلاً همین نوع و نگارش مرورگر اینترنت و نوع سیستم‌عامل یا دسک‌تاپ/موبایل بودن نمایش‌دهنده بنر)، تأثیر عجیبی در نرخ تبدیل ترکیبی^۹ دارد. نرخ تبدیل ترکیبی یعنی ابتدا را به انتها وصل کنیم؛ یعنی به جای این که ببینم چند درصد از کسانی که بنر در معرض دید آن‌ها قرار گرفته، کلیک کرده‌اند، ببینیم چند درصد از آن‌ها که کلیک کرده‌اند فرآیند تبدیل را کامل کرده‌اند و بعد درصد تعداد کسانی که فرآیند تبدیل را تکمیل کرده‌اند به تعداد کسانی که در معرض دید بنر بوده‌اند را حساب کنیم. متوجه می‌شویم که گاهی می‌توانیم با ایجاد جذابیت‌های بصری در بنر، کلیک را بالا ببریم ولی الزاماً این موجب افزایش نرخ تبدیل نمی‌شود. یا مثلاً متوجه می‌شویم که نرخ تبدیل ترکیبی برای فروشگاه‌های اینترنتی در بنرهایی که در دسک‌تاپ و سیستم‌عامل ویندوز و مرورگر کروم بوده‌اند، بسیار بیشتر است به شکلی که هدفمند کردن تبلیغات کلیکی برای این فضا، به نسبت افزایش هزینه‌ای که در بردارد به صرفه است.

به جز مواردی مانند حالت فوق، درباره مواردی مثل اندازه بنر، ساعت نمایش و… هم می‌توان با تمدید تبلیغات کلیکی برای یک بازه و بررسی بازه‌های مختلف به بهترین شرایط برای هدفمند کردن تبلیغات دست یافت.

آزمون A/B در تبلیغات کلیکی کمک می‌کند تا روی رنگ، فونت، دکمه فراخوان و مانند آن به نتیجه بهتری برسیم. بنرهای مختلف با طرح‌های مختلف طراحی می‌شود و نرخ تبدیل را به صورت ساده و یا تک‌مرحله‌ای^۱۰ یا به صورت ترکیبی^۱۱ محاسبه می‌کنیم. در نهایت از بین طرح‌های مختلف، طرح و ‌اندازه‌هایی که بهترین نرخ تبدیل را دارند برای هزینه کردن بخش اصلی تبلیغ انتخاب می‌شود.

پیچیدگی تبلیغات بنری علاوه بر تعداد پارامترهای زیاد، به انتخاب واسطه تبلیغاتی هم مربوط است. بسیاری از سفارش دهندگان  تبلیغ متوجه شده‌اند که نرخ تبدیل یک رسانه یا واسطه با دیگری تفاوت معنادار دارد و این تفاوت همیشه مثبت نیست. یعنی گاهی یک واسطه که برای یک تبلیغ و یک محصول خاص، عملکرد بهتری دارد، برای تبلیغ بنری دیگری عملکرد ضعیف‌تری را نسبت به بقیه نشان می‌دهد که این مربوط به منتشرکننده‌های طرف قرارداد واسطه تبلیغ است. در نتیجه یک آزمون A/B هم در لایه انتخاب واسطه داریم. به این معنی که بنری را که طی آزمون آ/ب مرحله اول مطمئن شدیم بهترین نرخ تبدیل را دارد، دوباره برای آزمون، به تعدادی از واسطه‌‌ها می‌دهیم. حالا نرخ تبدیل را برای واسطه‌های مختلف محاسبه می‌کنیم و از بین واسطه‌های مختلف، آن را که بیشترین نرخ بازگشت سرمایه را تولید می‌کند انتخاب می‌کنیم و بودجه اصلی تبلیغات را در اختیار رتبه‌های ۱ یا ۲ این آزمون A/B قرار می‌دهیم.

۱. Split Testing
۲. Open Rate
۳. A/B Testing
۴. Conversion
۵. Impression
۶. Lead
۷. Call To Action
۸. Desktop
۹. Mixed Conversion Rate
۱۰. Single Step
۱۱. Mixed Mode