Exploring the effectiveness of prompt engineering for legal reasoning tasks

Abstract

لقد أفضى استخدام النماذج اللغوية الكبيرة (LLMs) في أساليب الاستدلال الصفري (Zero-shot) أو بتدريب محدود (Few-shot) في ميدان معالجة اللغة الطبيعية، إلى ظهور حقل علمي جديد يعرف بهندسة الأوامر (Prompt Engineering). وقد بينت الدراسات الحديثة أن أوامر سلسلة التفكير (Chain-of-Thought, CoT) تحدث، عند توظيفها، أثرا بينا في مهام عدة كالعمليات الحسابية والاستدلال المبني على الحس المشترك. ويعمد هذا البحث إلى استجلاء أثر تلك الأساليب في الاستدلال القانوني، وذلك عبر تجارب أجريناها على مهمة الاستلزام في مسابقـة COLIEE، وهي مسابقة استخراج المعلومات القانونية والاستلزام القانوني المبنية على اختبار نقابة المحامين اليابانية. وقد قمنا بتقويم أداء النماذج وفق منهج الاستدلال الصفري أو بتدريب محدود، ووفق الضبط الدقيق (Fine-tuning)، مع الشروح أو من دونها، إلى جانب طائفة من طرائق هندسة الأوامر. وتشير نتائجنا إلى أن أوامر سلسلة التفكير، وكذلك الضبط الدقيق المصحوب بعبارات تفسيرية، يحسنان الأداء بدرجات معتبرة. غير أن أفضل النتائج تتحقق عند الاستناد إلى أساليب استدلال قانوني محددة، من بينها منهج IRAC (Issue, Rule, Application, Conclusion)، المبني على عرض المسألة، وبيان القاعدة القانونية، ثم إسقاطها على الواقعة، والانتهاء إلى الحكم. وفضلا على ذلك، اتضح لنا أن التعلم بتدريب محدود، عندما تستمد أمثلته عن طريق عنقدة بيانات التدريب السابقة (Clustering)، يؤدي أداء ثابتا عالي الجودة في مهام الاستلزام ضمن مسابقة COLIEE فخلال سنوات إنجاز البيانات التي خضعت للفحص. وقد أفضت تجاربنا كذلك إلى تحسين أفضل نتائج مسابقة COLIEE لعام 2021 من 0.7037 إلى 0.8025، وتجاوز أحسن الأنظمة المشاركة في عام 2022 بحيث بلغت دقتها 0.789.