چرا روانی پاسخ، نشانهٔ درستی آن نیست؟
مدل زبانی برای تولید متن محتمل آموزش دیده است، نه متن درست. این دو در بیشتر موارد همپوشانی دارند و همین همپوشانی است که خطرناک است: پاسخ نادرست هم با همان لحن مطمئن و همان انسجام دستوری تولید میشود که پاسخ درست.
در محتوای عمومی، خواننده معمولاً میتواند نادرستی را تشخیص دهد چون خودش موضوع را میشناسد. در پرسش سازمانی وضعیت وارونه است: کسی که میپرسد «مصوبهٔ کمیته دربارهٔ سقف اعتباری این صنعت چه بود» دقیقاً به این دلیل میپرسد که نمیداند، و بنابراین هیچ ابزاری برای تشخیص پاسخ ساختگی ندارد.
به همین دلیل، معیار درست برای یک دستیار سازمانی «چقدر خوب پاسخ میدهد» نیست؛ «چقدر قابل راستیآزمایی پاسخ میدهد» است.
اتکا به منبع دقیقاً یعنی چه؟
اتکا به منبع یعنی مدل اجازه ندارد از دانش عمومی خود پاسخ بسازد؛ ابتدا اسناد مرتبط از پایگاه دانش سازمان بازیابی میشوند و پاسخ فقط از محتوای همان اسناد ساخته میشود. اگر سند مرتبطی پیدا نشود، پاسخ درست «نمیدانم» است، نه بهترین حدس.
این طراحی سه پیامد دارد. اول، پاسخ همیشه ارجاع دارد و کاربر میتواند تا سند اصلی برود. دوم، دامنهٔ خطا محدود میشود: مدل ممکن است سند را بد خلاصه کند، اما نمیتواند سندی را که وجود ندارد بسازد. سوم، کنترل دسترسی معنا پیدا میکند — چون بازیابی روی مجموعهای انجام میشود که کاربر مجاز به دیدن آن است.
این پیامد سوم اغلب نادیده گرفته میشود. دستیاری که از دانش عمومی مدل پاسخ میدهد، هیچ مرزی برای دسترسی ندارد؛ دستیاری که فقط از اسناد بازیابیشده پاسخ میدهد، مرز دسترسی همان مرز بازیابی است.
بازیابی مبتنی بر منبع کجا شکست میخورد؟
شایعترین شکست در مرحلهٔ بازیابی است، نه تولید. اگر سند درست بازیابی نشود، پاسخ حتی با اتکای کامل هم نادرست خواهد بود — فقط این بار نادرستیِ مستند است، که بدتر هم هست چون ظاهر معتبری دارد.
دومین شکست، تکهبندی نامناسب است. اگر سند به قطعاتی بریده شود که زمینهٔ خود را از دست میدهند، مدل قطعهای را میبیند که در متن اصلی معنای دیگری داشته. جملهای که با «در حالت استثنایی» شروع میشود و از بند قبلی جدا شده، میتواند به یک قاعدهٔ عمومی تبدیل شود.
سومین شکست، تعارض میان اسناد است. وقتی دو مصوبه در دو تاریخ متفاوت پاسخهای متضاد میدهند، سامانه باید تاریخ و وضعیت اعتبار را بفهمد، نه اینکه یکی را تصادفی انتخاب کند. این نیازمند فراداده است، نه مدل بزرگتر.
کیفیت یک سامانهٔ پاسخ مستند را چگونه بسنجیم؟
با سه سنجه، نه با تصور کلی. اول، نرخ ارجاعپذیری: چند درصد پاسخها دستکم یک منبع دارند که واقعاً حاوی ادعای پاسخ است. این را باید انسان بررسی کند و نمونهٔ پنجاهتایی کافی است.
دوم، نرخ امتناع درست: وقتی پاسخ در پایگاه دانش وجود ندارد، سامانه چند درصد مواقع «نمیدانم» میگوید. سامانهای که هرگز امتناع نمیکند، یا پایگاه دانش کاملی دارد یا در حال ساختن پاسخ است؛ و دومی بهمراتب محتملتر است.
سوم، دقت زمانی: در پرسشهایی که پاسخشان با گذشت زمان تغییر کرده، سامانه چند درصد مواقع به نسخهٔ معتبر ارجاع میدهد. این سختترین سنجه است و بیشترین ارتباط را با کیفیت فراداده دارد.
از یک سامانهٔ سازمانی چه باید خواست؟
سه الزام قابل مذاکره نیستند. یک: هر پاسخ باید منبع داشته باشد و منبع باید قابل باز شدن باشد، نه صرفاً نام برده شود. دو: سامانه باید بتواند امتناع کند؛ گزینهٔ «نمیدانم» باید در طراحی وجود داشته باشد. سه: بازیابی باید به کنترل دسترسی کاربر مقید باشد و نه پس از تولید پاسخ، فیلتر شود.
الزام چهارم، که کمتر خواسته میشود اما در ممیزی اهمیت پیدا میکند: پرسش، اسناد بازیابیشده و پاسخ باید در سیاههٔ ممیزی ثبت شوند. بدون این، هیچ راهی برای بررسی یک پاسخ نادرست پس از وقوع وجود ندارد.
این همان قراری است که داناوی میگذارد: دانا فقط از پایگاه دانش سازمان پاسخ میدهد و همیشه منبع را ذکر میکند. اما این الزامها را باید از هر سامانهای خواست، نه از یکی؛ آنچه یک دستیار سازمانی را قابل اتکا میکند، همین قیدهاست و نه اندازهٔ مدل پشت آن.
