ربات‌ها را در فروشگاه آنلاین ببندیم یا راه بدهیم؟ جداکردن عامل خرید هوش مصنوعی از اسکرپر
وقتی عامل‌های هوش مصنوعی از طرف مشتری خرید می‌کنند، بستن کورکورانهٔ همهٔ ربات‌ها به فروش ضربه می‌زند. یک راه سه‌لایه برای جداکردن عامل معتبر، خزنده و اسکرپر.
فهرست مطالب
اگر فروشگاه آنلاین دارید و جلوی ربات‌ها را با کپچا و فایروال گرفته‌اید، این یادداشت به یک سؤال جواب می‌دهد: کدام ترافیک ماشینی را راه بدهید و کدام را ببندید. اهمیتش در این است که بخشی از این ربات‌ها حالا از طرف یک مشتری واقعی می‌آیند تا خرید کنند. گزارشی تازه نشان می‌دهد عامل‌های شخصی هوش مصنوعی، مثل Muse متا، برای خرید و رزرو به سایت‌ها می‌روند و بارها پشت سدهای ضدربات گیر می‌کنند[۵]. عامل هوش مصنوعی (AI agent) یعنی نرم‌افزاری که به‌جای کاربر جست‌وجو می‌کند، فرم پر می‌کند و سفارش می‌دهد. برداشت ما این است که سیاست همه را ببند دیگر بی‌هزینه نیست. راه عملی‌تر سه لایه دارد. عامل‌هایی که هویتشان را با امضای دیجیتال ثابت می‌کنند، با سقف مشخصی برای تعداد درخواست راه داده شوند. خزنده‌هایی که محتوا را برای آموزش مدل جمع می‌کنند، طبق سیاست محتوای خود شما مدیریت شوند. بقیه بسته بمانند. در کنار این‌ها، ترافیک ماشینی باید در گزارش نرخ تبدیل جدا شمرده شود.
واقعیت‌های کلیدی
- والمارت با عامل Muse متا شریک است، اما دکمهٔ اثبات انسان‌بودن در سایتش گاهی باعث شکست خرید عامل شده است؛ والمارت می‌گوید این عمدی نبوده است.[۵]
- متا، والمارت، استرایپ و چند شرکت دیگر روی یک استاندارد باز برای ارتباط عامل‌ها و کسب‌وکارها در خرید آنلاین کار می‌کنند.[۵]
- پروتکل ویزا با امضای دیجیتالِ گره‌خورده به دامنه و نوع کار، عامل معتبر را از ربات ناشناس جدا می‌کند و نمونهٔ آن بر پایهٔ RFC 9421 است.[۱]
- طبق یک پژوهش پایه‌ای، ۶۵ درصد از پرهزینه‌ترین ترافیک ویکی‌مدیا از ربات‌ها می‌آید.[۴]
- روشی سبک که فقط با لاگ سرور کار می‌کند، روی بیش از ۴٫۶ میلیون درخواست ۶۷٫۷ درصد ترافیک ربات را با نرخ مثبت کاذب ۳ درصد تشخیص داده است.[۴]
- ای‌بی همهٔ عامل‌های خرید را منع نمی‌کند و محدودیتش روی عامل‌های بی‌مجوز، اسکرپینگ و آموزش مدل است.[۵]
کجای کسب‌وکار شما به کار می‌آید؟
محصول و فناوری — توسعه‌دهنده یا آژانس طرف قرارداد فروشگاه آنلاین: می‌توانید کپچا و چالش‌های ضدربات را از مسیر کامل خرید برندارید، اما آن‌ها را فقط برای درخواست‌های مبهم فعال کنید و برای بقیه سقف تعداد درخواست بگذارید.
قدم اول: این ماه فهرستی از صفحه‌هایی تهیه کنید که کپچا یا چالش نشان می‌دهند و مشخص کنید کدام‌یک در مسیر سبد خرید و پرداخت قرار دارند.
زحمت: متوسط · حواستان باشد: کم‌کردن چالش‌ها بدون غربال لاگ سرور می‌تواند راه اسکرپرها را باز کند؛ ربات‌ها نام خود را هم جعل می‌کنند.
تحلیل داده — تحلیلگر داده یا مدیر بازاریابی دیجیتال: می‌توانید در گزارش نرخ تبدیل، بازدید انسانی را از ترافیک ماشینی جدا کنید تا قضاوت دربارهٔ کمپین‌ها و صفحه‌ها بر آمار آلوده تکیه نکند.
قدم اول: یک هفته از لاگ سرور را بگیرید، درخواست‌ها را بر اساس ربات‌های شناخته‌شده و بقیه برچسب بزنید و با آمار ابزار تحلیل وب مقایسه کنید.
زحمت: متوسط · حواستان باشد: شناسایی با نام مرورگر قابل اعتماد کامل نیست، چون ربات‌ها آن را جعل می‌کنند؛ این تفکیک تقریبی است، نه دقیق.
بازاریابی و تبلیغات — مدیر محتوا یا صاحب فروشگاه: می‌توانید دربارهٔ استفاده از محتوای سایت برای آموزش مدل‌ها تصمیم مکتوب بگیرید و آن را در robots.txt و تنظیمات فایروال اعمال کنید، جدا از تصمیم دربارهٔ عامل‌های خرید.
قدم اول: فایل robots.txt فعلی سایت را باز کنید و ببینید چه کسی آن را نوشته، چه خزنده‌هایی را محدود کرده و آیا با سیاست محتوای شما می‌خواند.
زحمت: کم · حواستان باشد: robots.txt یک درخواست است، نه قفل؛ بسیاری از خزنده‌ها آن را رعایت نمی‌کنند و برای اجرا به قاعدهٔ فایروال هم نیاز دارید.
وقتی دکمهٔ اثبات انسان‌بودن، مشتری را بیرون می‌اندازد
مثال والمارت ماجرا را خوب نشان می‌دهد. والمارت با عامل Muse متا شریک است، اما کاربران گزارش داده‌اند که این عامل نتوانسته خریدش را در سایت والمارت تمام کند[۵]. به گفتهٔ والمارت، این مانع عمدی نبوده است[۵]. مشکل از دکمه‌ای است که سایت برای اثبات انسان‌بودن بازدیدکننده نشان می‌دهد. اگر این مرحله قطع شود، بررسی شکست می‌خورد و عامل از سایت بیرون می‌افتد[۵]. زیلو هم گفته عامل‌هایی را که از طرف مصرف‌کننده می‌آیند می‌پذیرد، ولی سد ضداسکرپ آن گاهی بعضی از همین عامل‌ها را هم می‌بندد[۵].
همهٔ این بستن‌ها ناخواسته نیست. آمازون دسترسی Muse به سایت خرده‌فروشی‌اش را بسته است[۵]. ییلپ ترافیک غیرانسانی را فقط وقتی می‌پذیرد که عامل از طریق برنامهٔ مجوز داده برای دسترسی پول داده باشد[۵]. ای‌بی همهٔ عامل‌های خرید را منع نمی‌کند. محدودیت آن روی عامل‌های بی‌مجوز و کارهایی مثل اسکرپینگ (scraping)، یعنی برداشت خودکار محتوا و قیمت، و آموزش مدل است[۵].
متا در اعلامیه‌اش گفته است ردکردن یک عامل شخصی یعنی ردکردن مشتری‌ای که پشت آن ایستاده است[۵]. متا، والمارت، استرایپ و چند شرکت دیگر کار روی یک استاندارد باز را شروع کرده‌اند تا عامل‌ها و کسب‌وکارها برای خرید آنلاین با زبان مشترکی حرف بزنند و ربات خوب از ربات بد جدا شود[۵].
چرا روش‌های قدیمی تشخیص ربات کم می‌آورند
یک پژوهش پایه‌ای دربارهٔ تشخیص ربات تصویر کلی را روشن کرده بود. طبق این پژوهش، ربات‌ها تقریباً نیمی از درخواست‌های وب را می‌سازند و شمار رو به رشدی از آن‌ها هویتشان را جعل می‌کنند[۴]. ابزارهای رایج سه ایراد دارند: یا مثل چالش جاوااسکریپت و کپچا منابع زیادی مصرف می‌کنند، یا نسخه‌های تجاری‌شان گران است، یا تجربهٔ کاربر را خراب می‌کنند[۴]. کپچا (CAPTCHA) همان آزمونی است که از بازدیدکننده می‌خواهد ثابت کند انسان است.
همین پژوهش از تجربهٔ ویکی‌مدیا نقل می‌کند که ۶۵ درصد از پرهزینه‌ترین ترافیک آن از ربات‌ها می‌آید[۴]. اسکرپرها برخلاف انسان‌ها صفحه‌های کم‌بازدید را هم انبوه می‌خوانند. به این ترتیب کش (cache)، یعنی نسخهٔ آمادهٔ صفحه‌ها برای پاسخ سریع، بی‌اثر می‌شود[۴].
فایل robots.txt متنی است که به خزنده‌ها می‌گوید کجای سایت بروند و کجا نروند. بررسی ۴۰٬۰۰۰ سایت نشان داده بود ۱۴ درصد آن‌ها برای خزنده‌ها محدودیت گذاشته‌اند، اما بسیاری از خزنده‌ها این قواعد را رعایت نمی‌کنند[۴]. نویسندگان روشی سبک پیشنهاد کرده‌اند که فقط با لاگ سرور کار می‌کند. لاگ یعنی فهرستی که سرور از همهٔ درخواست‌ها ثبت می‌کند[۴]. این روش روی بیش از ۴٫۶ میلیون درخواست، ۶۷٫۷ درصد ترافیک ربات را تشخیص داده و نرخ مثبت کاذب آن، یعنی سهم بازدیدهای انسانی که به اشتباه ربات شمرده شده‌اند، ۳ درصد بوده است[۴]. پیشنهادشان این است که چنین روشی خط اول دفاع باشد و فقط درخواست‌های واقعاً مبهم به کپچا یا چالش برسند[۴].
امضای دیجیتال: عامل معتبر خودش را معرفی می‌کند
پروتکل عامل مورد اعتماد ویزا (Trusted Agent Protocol) راه دیگری پیشنهاد می‌کند: به‌جای اینکه فروشگاه حدس بزند، عامل خودش هویتش را ثابت کند[۱]. عامل در هر تعامل یک امضای دیجیتال می‌فرستد که زمان، شناسهٔ یکتای نشست و شناسهٔ کلید را در خود دارد[۱]. این امضا به دامنهٔ همان فروشگاه و همان کار مشخص، مثلاً مرور یا پرداخت، گره خورده است و نمی‌شود آن را جای دیگری دوباره به کار برد[۱]. نمونهٔ پیاده‌سازی این پروتکل از امضای پیام HTTP مطابق استاندارد RFC 9421 استفاده می‌کند و کلیدهای عمومی عامل‌ها را در یک فهرست ثبت نگه می‌دارد[۱]. کلید عمومی چیزی است که فروشگاه با آن درستی امضا را بررسی می‌کند. به ادعای ویزا، این روش به کاهش تقلب و برگشت پول از تراکنش‌های بی‌اجازه هم کمک می‌کند[۱].
استرایپ هم در معرفی پروتکل تجارت عاملی (ACP)، که آن را با OpenAI ساخته، گفته است کسب‌وکارها باید مدل‌های ریسکشان را طوری به‌روز کنند که ربات خوب را از بد جدا کنند[۲]. در این پروتکل، فروشگاه همچنان فروشندهٔ رسمی سفارش می‌ماند و می‌تواند تراکنش را بر اساس سیگنال‌های پرداخت و تقلب بپذیرد یا رد کند[۲].
پلتفرم‌ها هم مسیر رسمی می‌سازند. شاپیفای در فایل robots.txt پیش‌فرض فروشگاه‌ها یادداشتی افزوده که اسکرپینگ خودکار و عامل‌هایی را که بدون مرحلهٔ بازبینی نهایی پرداخت را تمام می‌کنند مجاز نمی‌داند[۳]. یکی از مهندسان ارشد شاپیفای گفته این تغییر قاعده‌ای اضافه یا حذف نکرده و فقط توسعه‌دهندگان را به ابزار رسمی پرداخت آن، Checkout Kit، ارجاع می‌دهد[۳]. به نظر می‌رسد پیام مشترک این سه نمونه یکی است: عامل خوش‌آمد است، به شرط اینکه از در اصلی و با کارت شناسایی وارد شود.
سه لایه برای فروشگاه و یک اصلاح در گزارش تبدیل
برداشت ما این است که تصمیم درست برای یک فروشگاه، باز یا بسته نیست؛ دسته‌بندی است. لایهٔ اول عامل‌هایی‌اند که امضای قابل بررسی دارند یا از طریق یکپارچه‌سازی رسمی پلتفرم می‌آیند. این‌ها را می‌شود راه داد، اما با سقفی برای تعداد درخواست در دقیقه تا یک عامل معتبر هم نتواند سرور را زیر بار ببرد. لایهٔ دوم خزنده‌های آموزش مدل‌اند. اینجا تصمیم فنی نیست، تصمیم محتوایی است: آیا می‌خواهید توضیحات محصول و مقاله‌هایتان در آموزش مدل‌ها استفاده شود یا نه. این تصمیم باید مکتوب شود و در robots.txt و تنظیمات فایروال بیاید. لایهٔ سوم بقیهٔ ترافیک ماشینی است که هویتش معلوم نیست. این لایه بسته می‌ماند، ولی بهتر است کپچا فقط برای موارد مبهم بالا بیاید، نه برای همه.
فرض کنید یک فروشگاه لوازم خانگی می‌بیند بازدید صفحه‌های محصول بالا رفته ولی فروش ثابت مانده است. اگر ربات‌ها و عامل‌ها در همان آماری باشند که رفتار انسان‌ها را می‌سنجد، نرخ تبدیل پایین‌تر از واقعیت دیده می‌شود و تیم بازاریابی ممکن است کمپین یا صفحه‌ای را که خوب کار می‌کند مقصر بداند. جداکردن سه بخش در گزارش، یعنی انسان، عامل معتبر و ربات ناشناس، تصویر درست‌تری می‌دهد.
به نظر می‌رسد هزینهٔ بستن کور در مسیر پرداخت همین حالا واقعی است، هرچند استانداردهای امضای عامل هنوز در مرحلهٔ نمونه و ائتلاف‌اند. یک اثر ثانویه هم محتمل است: اسکرپرهای رقبا ممکن است خود را عامل خرید جا بزنند. برای همین، ملاک باید امضای قابل بررسی باشد، نه نامی که ربات برای خودش اعلام می‌کند.
قدم عملی این ماه ساده است: صفحه‌هایی را که کپچا یا چالش نشان می‌دهند فهرست کنید و ببینید کدام در مسیر خرید قرار دارند. سپس اگر قرار است روزی به عامل‌ها اجازهٔ اقدام بدهید، طراحی هویت و دسترسی عامل‌ها را پیش از هر چیز روی کاغذ بیاورید.
| شرکت | رویکرد به عامل‌ها | نکته برای فروشگاه |
|---|---|---|
| آمازون | دسترسی عامل Muse را بسته است | بستن عمدی و آگاهانه |
| والمارت | شریک Muse است، اما دکمهٔ اثبات انسان‌بودن گاهی عامل را بیرون می‌اندازد | بستن ناخواسته با ابزار ضدربات |
| ییلپ | فقط عامل‌هایی که برای مجوز داده پول داده‌اند | دسترسی به‌عنوان محصول پولی |
| ای‌بی | عامل‌های بی‌مجوز، اسکرپینگ و آموزش مدل محدود است | تفکیک بر اساس نوع کار |
| زیلو | عامل‌های طرف مصرف‌کننده مجازند، ولی سد ضداسکرپ گاهی می‌بندد | خطای مثبت کاذب |
| شاپیفای | یادداشت در robots.txt و ارجاع به Checkout Kit | هدایت به مسیر رسمی |
خط زمانی
- 2026-09: والمارت در کنفرانس Connect متا به‌عنوان شریک عامل Muse معرفی شد.[۵]
- 2026-09-15: کلادفلر تنظیمات پیش‌فرض خزنده‌ها را تغییر داد تا بستن آموزش مدل از انواع دیگر ربات جدا شود.[۵]
- 2026-10-06: گزارش تک‌کرانچ دربارهٔ مسدودشدن عامل‌های شخصی در سایت‌ها و ائتلاف برای استاندارد باز منتشر شد.[۵]
برای کسب‌وکارهای ایرانی
برای فروشگاه‌های آنلاین ایرانی، عامل‌های خرید خارجی احتمالاً هنوز بخش کوچکی از بازدید باشند. اما دو بخش دیگر ماجرا به نظر می‌رسد همین حالا هم مطرح است: اسکرپ قیمت و محتوا، که بار سرور و کش را بالا می‌برد، و آلوده‌شدن آمار نرخ تبدیل با ترافیک ماشینی. روشی که فقط با لاگ سرور کار می‌کند به سرویس خارجی یا پرداخت ارزی نیاز ندارد و توسعه‌دهندهٔ خود فروشگاه می‌تواند آن را راه بیندازد. پروتکل ACP متن‌باز و با مجوز Apache 2.0 منتشر شده است[۲]. بنابراین یادگرفتن منطق آن برای تیم‌های فنی داخلی ممکن است، هرچند اتصال به درگاه‌های پرداخت بین‌المللی برای بسیاری از کسب‌وکارهای ایرانی ساده نیست.
چه چیزی را باید دنبال کرد
- استاندارد بازی که متا، والمارت، استرایپ و دیگران برای ارتباط عامل‌ها با کسب‌وکارها شروع کرده‌اند، کی و با چه سازوکاری برای شناسایی عامل منتشر می‌شود.
- آیا شبکه‌های توزیع محتوا و فایروال‌ها بررسی امضای دیجیتال عامل را به تنظیمات پیش‌فرضشان اضافه می‌کنند.
- پیامد تغییر تنظیمات پیش‌فرض کلادفلر برای عامل‌های شخصی، و اینکه داده‌ای برای جداکردن ربات خوب از بد منتشر می‌کند یا نه.
- آیا پلتفرم‌های فروشگاه‌ساز عامل‌ها را فقط از مسیرهای رسمی پرداخت مثل Checkout Kit راه می‌دهند.
داده‌های مرتبط در همین سایت: دانلود روزانه کیت‌های توسعه هوش مصنوعی در npm
منابع
- GitHub - visa/trusted-agent-protocol: Establishing a universal standard of trust between AI agents and merchants for the next phase of agentic commerce. — GitHub، منبع مرجع، دسترسی: 2026-10-13
- Developing an open standard for agentic commerce — Stripe، منبع مرجع، دسترسی: 2026-10-13
- Shopify quietly sets boundaries for AI agents on merchant sites — Modern Retail، منبع مرجع، دسترسی: 2026-10-13
- Shy Guys: A Light-Weight Approach to Detecting Robots on Websites — arxiv.org، انتشار: 2024-03-27، مرجع پایه، دسترسی: 2026-10-13
- The next hurdle for AI agents: getting websites to let them in | TechCrunch — TechCrunch AI، انتشار: 2026-10-06، شواهد تازه، دسترسی: 2026-10-13
روش تهیه: این تحلیل با سامانه پایش خودکار khavarzadeh.com و کمک مدل‌های زبانی از منابع بالا تهیه شده و پیش از انتشار، تطابق اعداد، تاریخ‌ها و ارجاع‌ها با منابع به‌صورت خودکار کنترل شده است. واقعیت‌ها با شماره منبع مشخص شده‌اند و بقیه متن برداشت تحلیلی است. تاریخ تهیه: 2026-10-13.
نظرات
هنوز نظری ثبت نشده است؛ اولین نفر باشید.
افزودن نظر