كيف نصحّح الإجابات القانونية العربية في مقياس بيان
خمسة معايير، والخطأ الواثق أسوأ من «لا أعرف».
[التاريخ] · [الكاتب] · قراءة في 6 دقائق
مقياس بيان اختبار علني لطريقة إجابة نماذج الذكاء الاصطناعي عن مسائل القانون المصري. نكتب الأسئلة، ونجمع إجابات النماذج، ونصحّحها، وننشر النتائج، ومنها نتائج بيان نفسه. وهذا المقال يشرح كيف نصحّح، ولماذا صممنا التصحيح على هذا النحو.
الأسئلة
يكتب الأسئلة محامون ممارسون في مصر، من مسائل حقيقية لها إجابات معروفة، ويكتبون معها الإجابة النموذجية ومصادرها. [يؤكد شريف عدد الأسئلة ومجالاتها.]
المعايير الخمسة
- النتيجة: هل الإجابة صحيحة عن السؤال الذي سُئل فعلًا؟
- السند: هل المادة المستشهد بها موجودة، في القانون الصحيح، ونافذة في التاريخ المطلوب، وتقول ما تنسبه الإجابة إليها؟ وهل الحكم موجود، وإسناده صحيح، ومبدؤه هو ما تقوله الإجابة؟
- الاكتمال: هل ذكرت الإجابة الشروط والاستثناءات؟ فالإجابة عن الشرط الجزائي التي لا تذكر أن عبء الإثبات على المدين ناقصة.
- اللغة: هل استعملت المصطلح القانوني الصحيح، كالفسخ لا الانفساخ، بعربية فصيحة سليمة لا بترجمة حرفية؟
- المعايرة: هل قالت الإجابة إن المصادر لا تكفي حين لا تكفي؟
الخطأ الواثق أسوأ من الامتناع
هذا قلب التصميم. في أغلب الاختبارات الشائعة تُصحَّح الإجابة صحيحة أو خاطئة، فلا يكسب «لا أعرف» شيئًا، ويكسب التخمين أحيانًا، فيتعلم النموذج أن التخمين أفضل دائمًا. وقد بيّن باحثو OpenAI سنة 2025 أن هذا النوع من التقييم من أسباب الهلوسة نفسها، واقترحوا أن يُعاقَب الخطأ الواثق أكثر من التعبير عن عدم اليقين. وهذا ما نفعله: الإجابة الخاطئة الواثقة تأخذ درجة أقل من إجابة تقول بوضوح إن المصادر لا تكفي. [يؤكد شريف الأوزان.]
كيف نصحّح
[يؤكد شريف قبل النشر.]
- يصحّح كل إجابة محاميان مستقلان، وإن اختلفا حكم ثالث.
- لا يعرف المصحّح أي نموذج كتب الإجابة.
- يُفحص كل استشهاد مقابل النص الذي يدّعيه.
- ننشر عينة من الأسئلة مع إجاباتها، ونحتفظ بالباقي غير منشور، لأن الأسئلة المنشورة قد تدخل في تدريب النماذج القادمة، فتفقد قيمتها في قياسها.
لماذا يخطئ النموذج العام في هذا الاختبار
كل ما شرحناه في مقالات هذه السلسلة يظهر هنا مجتمعًا. النموذج العام يتوقع الكلمة الأرجح، فيضعف حيث تندر النصوص، والقانون المصري بالعربية من النادر في نصوص تدريبه. ويُضبط نحو الإجابات التي تعجب الناس، فيُسقط القيود. ويقف علمه عند تاريخ، فيفوته الجديد. ويُكافأ في الاختبارات الشائعة على التخمين، فلا يقول «لا أعرف». والمقياس الذي يكافئ السلاسة يقيس السلاسة، لذلك بنينا مقياسًا يكافئ الدقة.
المراجع. Kalai وآخرون، «Why Language Models Hallucinate»، OpenAI، سبتمبر 2025.