نمط التأمل
نمط التأمل ليس "اطلب من النموذج أن يراجع عمله". إنه حلقة نقد وتحسين: الوكيل ينتج مسودة، ثم موجه ثانٍ ينتقد المسودة وفق معايير واضحة، ثم موجه ثالث يحسّنها باستخدام النقد.
هذا الفرق مهم. موجه مراجعة غامض غالباً ينتج طمأنة غامضة. أما نقد يتضمن معايير أو سياسة أو نتيجة اختبار فيمكنه كشف عيب حقيقي.
حالة فشل ملموسة
وكيل دعم يكتب هذه المسودة:
"سنرد لك المبلغ كاملاً."
السياسة تقول إن المبالغ التي تتجاوز ٥٠ دولاراً تحتاج موافقة مدير. المسودة تعد برد مبلغ لا يملك الوكيل صلاحية الموافقة عليه.
اسأل النموذج: "هل هذه الإجابة جيدة؟" وغالباً سيجيب: "نعم، النبرة واضحة ومفيدة." مخالفة السياسة غير مرئية لأن موجه المراجعة لم يسأل عنها أصلاً.
اسأل ثلاثة أسئلة محددة بدلاً من ذلك:
- ما المفقود؟ — موافقة المدير للمبلغ الذي يتجاوز ٥٠ دولاراً.
- ما الغامض؟ — لم يُذكر المبلغ ولا المدة الزمنية.
- ما الخطأ أو غير المدعوم؟ — عبارة "كاملاً" غير مصرّح بها.
الآن لدى التحسين شيء يصلحه. يمكن أن يقول: "أستطيع معالجة حتى ٥٠ دولاراً اليوم. أما المبلغ الكامل فيحتاج موافقة مدير أولاً."
هذا هو النمط: يجب أن يملك النقد معلومات لم تستخدمها المسودة — سياسة، اختبار، معايير تقييم، مستند مسترجع، أو نتيجة أداة. إذا لم يكن لدى النقد دليل جديد، فهو مجرد تخمين ثانٍ.
الحلقة
CRITIQUE_PROMPT = """أنت تراجع مسودة لوكيل دعم عملاء.
المهمة: {task}
المسودة: {draft}
السياسة: {policy}
أجب على هذه الأسئلة الثلاثة:
1. ما المفقود؟
2. ما الغامض؟
3. ما الخطأ أو غير المدعوم؟
أعد قائمة مرقمة. لا تعد كتابة المسودة الآن.
"""
REVISE_PROMPT = """أعد كتابة المسودة باستخدام النقد.
المهمة: {task}
المسودة: {draft}
النقد: {critique}
السياسة: {policy}
أعد الاستجابة المحسّنة فقط.
"""
def reflect_and_improve(task, draft, policy, max_cycles=2):
for _ in range(max_cycles):
critique = llm.generate(
CRITIQUE_PROMPT.format(task=task, draft=draft, policy=policy)
)
# توقف عندما لا يبقى في النقد ما يستحق التنفيذ.
if "لا توجد مشكلات" in critique.lower():
break
draft = llm.generate(
REVISE_PROMPT.format(
task=task, draft=draft, critique=critique, policy=policy
)
)
return draft
llm.generate هنا اختصار لغلاف مزود النموذج لديك. المهم أن النقد والتحسين استدعاءان منفصلان بتعليمات مختلفة.
لماذا يعمل — ومتى لا يعمل
يساعد التأمل عندما يضيف النقد معلومات جديدة: سياسة، اختبار فاشل، مصدر مسترجع، أو قائمة تحقق. الأبحاث في التعزيز اللفظي (Reflexion) والتحسين الذاتي التكراري (Self-Refine) تُظهر تحسناً في المهام التي يستطيع فيها النموذج التصرف وملاحظة النتيجة والمحاولة مجدداً.
لكنه لا يصلح الاستدلال بشكل موثوق. النموذج الواثق من خطئه قد ينتج نقداً واثقاً لنفس الإجابة الخاطئة. دراسة ICLR 2024 «النماذج اللغوية الكبيرة لا تستطيع تصحيح استدلالها بعد» وجدت أن التصحيح الذاتي الداخلي غالباً يجعل الاستدلال أسوأ ما لم تُضف إشارة خارجية. تعامل مع التأمل على أنه تحسين مقابل دليل، لا كمفتاح سحري للجودة.
| استخدم التأمل عندما | تجاوزه عندما |
|---|---|
| تكون الإجابة الخاطئة مكلفة (مال، سلامة، تواصل مع العميل) | تكون الإجابة دردشة منخفضة المخاطر |
| تملك سياسة أو معايير أو اختباراً أو مصدراً مسترجعاً | لا يملك النقد دليلاً جديداً |
| تستطيع تحمل ٢–٣ استدعاءات وزمن استجابة إضافي | تكون في حلقة فورية أو صوتية بميزانية ضيقة |
| تستطيع قياس ما إذا كان التحسين أفضل | لا تملك طريقة لتقييم التحسين |
التكلفة والتوقف
كل دورة استدعاء إضافي. إذا كانت المسودة ٥٠٠ رمز والنقد مع التحسين ١٬٥٠٠ رمز، فإن ثلاث دورات تعني نحو ٤٬٥٠٠ رمز — أي نحو تسعة أضعاف مدخلات إجابة واحدة. هذا غالباً يستحق لرد يتعلق برد مبلغ، ونادراً ما يستحق لرسالة دردشة.
ضع حداً أقصى صارماً من ٢–٣ دورات، ثم قارن المسودات. إذا لم تكن المسودة الثالثة أفضل بشكل قابل للقياس من الثانية، توقف. "المزيد من التأمل" ليس إعداداً للجودة.
قائمة تحقق قابلة لإعادة الاستخدام
قبل إضافة التأمل إلى وكيل، أجب على هذه الأسئلة:
- ما المعلومات الجديدة التي يحصل عليها النقد؟ (سياسة، اختبار، استرجاع، نتيجة أداة)
- ما الأسئلة الثلاثة التي يجب أن يجيب عنها؟
- كم دورة مسموح بها، وما سقف التكلفة؟
- كيف ستقيس ما إذا كان التحسين أفضل؟
- ماذا يحدث عندما يختلف النقد مع المسودة؟
إذا لم تستطع الإجابة على السؤالين الأول والرابع، فسيضيف التأمل زمن استجابة دون جودة.
النقاط الرئيسية
- التأمل هو نقد + تحسين، وليس "راجع إجابتك".
- يحتاج النقد إلى معايير أو سياسة أو اختبار أو مصدر؛ وإلا فهو تخمين ثانٍ.
- حدّد الحلقة بـ ٢–٣ دورات وقارن المخرجات.
- التأمل للأخطاء المكلفة، وليس لكل استجابة.
المراجع
- Shinn et al., Reflexion: Language Agents with Verbal Reinforcement Learning (NeurIPS 2023).
- Madaan et al., Self-Refine: Iterative Refinement with Self-Feedback (NeurIPS 2023).
- Huang et al., Large Language Models Cannot Self-Correct Reasoning Yet (ICLR 2024).
بعد ذلك، سنستكشف كيف يوسّع الوكلاء قدراتهم من خلال استخدام الأدوات — ولماذا تصبح الإجابة الخاطئة الواثقة أكثر تكلفة عندما يستطيع الوكيل التصرف.