محیط آزمایش پاسخ مستند

دستیاری که به مشتری جواب می‌دهد باید فقط از اسناد مجاز جواب بدهد، بگوید از کجا، و وقتی جواب در اسناد نیست بگوید نمی‌داند. این محیط همین را آزمایش می‌کند: اسناد مجاز و سؤال‌ها را بدهید (اگر پاسخ مرجع دارید، کنار سؤال) تا برای هر سؤال پاسخ نقل‌شده با ارجاع دقیق به بخش منبع، یا امتناع، ببینید.

اسناد هم ممکن است آلوده باشند: متنی که از بیرون آمده و در آن نوشته «دستورات قبلی را نادیده بگیر». این محیط چنین بخش‌هایی را پیدا می‌کند و هرگز از آن‌ها به‌عنوان شاهد استفاده نمی‌کند. هیچ مدل هوش مصنوعی در کار نیست و هیچ پیامی ارسال نمی‌شود.

• بازیابی: BM25 (k1 = ۱٫۵، b = ۰٫۷۵) روی واژه‌های یکدست‌شدهٔ فارسی، بدون واژه‌های پرتکرار و با حذف پسوندهای ساده.
• شاهد کافی: بهترین بخش باید دست‌کم نیمی از واژه‌های کلیدی سؤال (و برای سؤال سه‌واژه‌ای یا بیشتر، دست‌کم دو واژه) را داشته باشد؛ وگرنه پاسخ «در اسناد مجاز پیدا نشد» است.
• پاسخ: حداکثر دو جملهٔ همان بخش، بی‌تغییر و به ترتیب اصلی، با شناسهٔ بخش (مثل D1§3).
• آلودگی: هر بخش برای الگوهای دستورمانند (نادیده‌گرفتن دستور قبلی، تغییر نقش، ارسال اطلاعات، فاش‌کردن رمز) بررسی می‌شود و بخش آلوده هرگز شاهد پاسخ نمی‌شود.
• ارزیابی با پاسخ مرجع: برای سؤال پاسخ‌دار، پاسخ‌دادن و هم‌پوشانی واژه‌ها (F1)؛ برای سؤال بی‌پاسخ، امتناع درست.

• بازیابی واژه‌ای است: اگر مشتری با واژه‌های دیگری بپرسد (مثلاً «پس‌دادن» به‌جای «مرجوعی»)، بخش درست را پیدا نمی‌کند و امتناع می‌کند. این محافظه‌کاری عمدی است، نه هوشمندی.
• F1 هم‌پوشانی واژه است، نه درستی معنا؛ پاسخ درست با واژه‌های دیگر امتیاز کمتری می‌گیرد. نمونه‌ها را خودتان بخوانید.
• شناسایی دستور جاسازی‌شده الگومحور است و همهٔ شکل‌ها را نمی‌بیند؛ اسناد بیرونی را پیش از دادن به دستیار بازبینی کنید.
• یک دستیار مبتنی بر مدل زبانی می‌تواند بهتر پاسخ دهد، ولی باید روی همین سؤال‌ها از این خط مبنا بهتر باشد و همین‌قدر ارجاع بدهد.