ارزیابی مقایسهای مدلها
امتیازدهی انسانی و کور به پاسخ مدلها، با بازه و مقایسهٔ جفتی.
- فایل CSV یا جدول
- فقط در مرورگر شما
- دربارهٔ AI، بدون ارسال داده به AI
محیط آزمایش پاسخ مستند
دستیار فقط از اسناد مجاز جواب میدهد، میگوید از کجا، و وقتی نمیداند امتناع میکند؟
اسناد مجاز و سؤالها را بدهید تا برای هر سؤال پاسخ نقلشده با ارجاع دقیق به بخش منبع یا امتناع در نبود شاهد را ببینید؛ بخشهایی که دستور جاسازیشده دارند پیدا و کنار گذاشته میشوند — بدون مدل، بدون ارسال هیچ پیامی.
- متن یا جدول چسباندهشده
- فقط در مرورگر شما
- دربارهٔ AI، بدون ارسال داده به AI
به چه کاری میآید
دستیاری که به مشتری جواب میدهد باید فقط از اسناد مجاز جواب بدهد، بگوید از کجا، و وقتی جواب در اسناد نیست بگوید نمیداند. این محیط همین را آزمایش میکند: اسناد مجاز و سؤالها را بدهید (اگر پاسخ مرجع دارید، کنار سؤال) تا برای هر سؤال پاسخ نقلشده با ارجاع دقیق به بخش منبع، یا امتناع، ببینید.
اسناد هم ممکن است آلوده باشند: متنی که از بیرون آمده و در آن نوشته «دستورات قبلی را نادیده بگیر». این محیط چنین بخشهایی را پیدا میکند و هرگز از آنها بهعنوان شاهد استفاده نمیکند. هیچ مدل هوش مصنوعی در کار نیست و هیچ پیامی ارسال نمیشود.
LOCAL همهٔ محاسبه در همین مرورگر انجام میشود؛ دادهای که وارد میکنید به سرور سایت یا هیچ سرویس دیگری فرستاده نمیشود. با بستن یا تازهکردن صفحه چیزی از دادهها باقی نمیماند؛ دکمهٔ «پاککردن» هم همین حالا همه را از صفحه برمیدارد.
روش محاسبه و فرضها
- بازیابی: BM25 (k1 = ۱٫۵، b = ۰٫۷۵) روی واژههای یکدستشدهٔ فارسی، بدون واژههای پرتکرار و با حذف پسوندهای ساده.
- شاهد کافی: بهترین بخش باید دستکم نیمی از واژههای کلیدی سؤال (و برای سؤال سهواژهای یا بیشتر، دستکم دو واژه) را داشته باشد؛ وگرنه پاسخ «در اسناد مجاز پیدا نشد» است.
- پاسخ: حداکثر دو جملهٔ همان بخش، بیتغییر و به ترتیب اصلی، با شناسهٔ بخش (مثل D1§3).
- آلودگی: هر بخش برای الگوهای دستورمانند (نادیدهگرفتن دستور قبلی، تغییر نقش، ارسال اطلاعات، فاشکردن رمز) بررسی میشود و بخش آلوده هرگز شاهد پاسخ نمیشود.
- ارزیابی با پاسخ مرجع: برای سؤال پاسخدار، پاسخدادن و همپوشانی واژهها (F1)؛ برای سؤال بیپاسخ، امتناع درست.
محدودیتها و استفادهٔ نادرست
- بازیابی واژهای است: اگر مشتری با واژههای دیگری بپرسد (مثلاً «پسدادن» بهجای «مرجوعی»)، بخش درست را پیدا نمیکند و امتناع میکند. این محافظهکاری عمدی است، نه هوشمندی.
- F1 همپوشانی واژه است، نه درستی معنا؛ پاسخ درست با واژههای دیگر امتیاز کمتری میگیرد. نمونهها را خودتان بخوانید.
- شناسایی دستور جاسازیشده الگومحور است و همهٔ شکلها را نمیبیند؛ اسناد بیرونی را پیش از دادن به دستیار بازبینی کنید.
- یک دستیار مبتنی بر مدل زبانی میتواند بهتر پاسخ دهد، ولی باید روی همین سؤالها از این خط مبنا بهتر باشد و همینقدر ارجاع بدهد.
منابع روش
- Robertson, S. & Zaragoza, H. (2009). The probabilistic relevance framework: BM25 and beyond. Foundations and Trends in Information Retrieval, 3(4) — BM25.
- Greshake, K. et al. (2023). Not what you've signed up for: Compromising real-world LLM-integrated applications with indirect prompt injection. AISec — تزریق دستور غیرمستقیم در اسناد.
- Rajpurkar, P. et al. (2016). SQuAD. EMNLP — سنجهٔ F1 همپوشانی واژه.
قدم بعدی
پاسخهای مدلهای واقعی را روی همین سؤالها با «ارزیابی مقایسهای مدلها» امتیاز دهید؛ و پیش از وصلکردن دستیار به صندوق تیکت، مجوزهایش را طراحی کنید.
طراحی workflow و مجوز ایجنت
حداقل مجوز، نقاط کنترل، توقف، ثبت و برگشت برای هر مرحلهٔ ایجنت.
- پرسشهای راهنما
- فقط در مرورگر شما
- دربارهٔ AI، بدون ارسال داده به AI
نسخهٔ روش و تاریخ
VERSION نسخهٔ روش 1.0 · آخرین تغییر: 5 مهر 1405