طراحی workflow و مجوز ایجنت

پیش از اینکه یک ایجنت هوش مصنوعی به ایمیل، سامانهٔ سفارش یا حساب پرداخت وصل شود، باید روی کاغذ معلوم باشد هر مرحله چه می‌خواند، چه می‌نویسد، کجا باید انسان تأیید کند، کی باید بایستد، چه چیزی ثبت شود و اگر اشتباه کرد چطور برگردد.

مراحل را بنویسید؛ ابزار برای هر مرحله حداقل مجوز، نقطهٔ کنترل، شرط توقف، ثبت رویداد و راه برگشت پیشنهاد می‌دهد و اشکال‌های طرح را نشان می‌دهد. این ابزار فقط طراحی می‌کند و به هیچ سامانهٔ واقعی وصل نمی‌شود.

• حداقل مجوز از نوع دسترسی می‌آید: خواندن فقط فیلدهای لازم؛ نوشتن فقط روی همان رکورد با نگه‌داشتن نسخهٔ قبلی؛ حذف به‌صورت نرم؛ ارسال به‌صورت پیش‌نویس تا تأیید؛ پرداخت فقط پیشنهاد با سقف.
• تأیید پیش از اقدام لازم است برای هر اقدام غیرقابل برگشت، بیرونی یا مالی، هر حذف یا ارسال، و هر تغییر در دادهٔ شخصی (خواندن آن فقط دامنهٔ محدود لازم دارد). اگر لازم باشد و تعریف نشده باشد، «مشکل جدی» است.
• پس از اولین ورودی نامطمئن، هر مرحلهٔ خودکاری که می‌تواند بنویسد، ارسال یا پرداخت کند هشدار می‌گیرد: متن بیرونی داده است، نه دستور.
• اگر هیچ مرحله‌ای به قضاوت نیاز نداشته باشد، به‌جای ایجنت، workflow ساده پیشنهاد می‌شود.

• طرح خوب، اجرای امن را تضمین نمی‌کند؛ مجوزها باید در خود سامانه‌ها هم همین‌قدر محدود تنظیم و آزموده شوند.
• ابزار سامانه‌های شما را نمی‌بیند؛ اگر نوع دسترسی یا اثر را اشتباه بنویسید، پیشنهادها هم اشتباه خواهند بود.
• دفاع در برابر دستورهای جاسازی‌شده در متن بیرونی کامل نیست؛ برای همین هر اقدام پرخطر پس از چنین ورودی‌ای به تأیید انسانی سپرده می‌شود.