قصص الاستجابة للحوادث

يُتوقع من مهندسي MLOps التعامل مع حوادث الإنتاج. الأسئلة السلوكية تختبر إدارة الأزمات ومهارات التصحيح والتواصل تحت الضغط.

إطار STAR-L للحوادث

المكون	ما يجب تضمينه
الموقف	سياق الإنتاج، التأثير على الأعمال
المهمة	دورك ومسؤوليتك المحددة
الإجراء	الخطوات التقنية التي اتخذتها
النتيجة	الحل، المقاييس، الجدول الزمني
التعلم	ما غيرته لمنع التكرار

سؤال المقابلة: حادث حرج

السؤال: "أخبرني عن وقت فشل فيه نظام ML إنتاجي واضطررت لتصحيحه تحت الضغط."

هيكل إجابة قوي:

incident_story:
  situation:
    context: "نموذج كشف الاحتيال بدأ فجأة بتصنيف 40% من المعاملات المشروعة كاحتيالية"
    impact: "ارتفعت شكاوى العملاء، نمت قائمة الدعم إلى 500+ تذكرة في ساعتين"
    severity: "P1 - تأثير مباشر على الإيرادات، يُقدر بـ 50 ألف دولار/ساعة في الرفض الخاطئ"

  task:
    role: "مهندس MLOps المناوب"
    responsibility: "تحديد السبب الجذري، تنسيق التراجع إذا لزم الأمر، استعادة التشغيل الطبيعي"
    stakeholders: "المنتج، دعم العملاء، الفريق التنفيذي على جسر الحادث"

  action:
    timeline:
      - "0-15 دقيقة: فحص لوحات المراقبة، رأيت تحول توزيع التوقعات"
      - "15-30 دقيقة: استبعدت انحراف النموذج - النموذج لم يُحدث منذ أسبوعين"
      - "30-45 دقيقة: حققت في خط أنابيب الميزات، وجدت مصدر بيانات upstream يرجع nulls"
      - "45-60 دقيقة: تتبعت إلى API الشريك الذي يحد من معدلنا بعد تغيير العقد"

    technical_steps:
      - "استعلمت مخزن الميزات عن قيم الميزات الحديثة مقابل الأساس"
      - "قارنت توزيعات ميزات المدخلات عبر نوافذ 24 ساعة"
      - "وجدت ميزة 'merchant_risk_score' كانت null لـ 60% من الطلبات"
      - "قيم null كانت تُعوض كعالية المخاطر (السلوك الافتراضي)"

  result:
    resolution: "نفذت fallback للميزات إلى القيم المخزنة مؤقتاً، استعدت التشغيل الطبيعي"
    timeline: "إجمالي مدة الحادث: 75 دقيقة"
    metrics:
      - "معدل الإيجابيات الكاذبة عاد للأساس 2%"
      - "معالجة تراكم 500 تذكرة خلال 4 ساعات"
      - "لا تسرب عملاء منسوب للحادث"

  learning:
    immediate: "أضفت مراقبة معدل null مع تنبيهات على خط أنابيب الميزات"
    long_term: "نفذت circuit breaker لتبعيات البيانات الخارجية"
    process: "حدثت runbook بخطوات تصحيح على مستوى الميزات"

سيناريوهات الحوادث الشائعة للتحضير

mlops_incident_scenarios = {
    "model_degradation": {
        "symptoms": "الدقة تنخفض تدريجياً على مدى أيام/أسابيع",
        "common_causes": ["انحراف البيانات", "انحراف الميزات", "تغيير مخطط upstream"],
        "investigation_steps": [
            "مقارنة توزيعات البيانات الحالية مقابل التدريب",
            "فحص مخزن الميزات لتغييرات المخطط",
            "مراجعة تغييرات مصدر البيانات upstream"
        ]
    },

    "sudden_performance_drop": {
        "symptoms": "انهيار المقاييس بين ليلة وضحاها أو خلال ساعات",
        "common_causes": ["نشر سيء", "تغيير البنية التحتية", "فشل خط أنابيب البيانات"],
        "investigation_steps": [
            "فحص النشر الأخير (git log، ArgoCD)",
            "التحقق من سلامة artifact النموذج",
            "فحص صحة خط أنابيب الميزات"
        ]
    },

    "latency_spike": {
        "symptoms": "زمن الاستجابة P99 يتجاوز SLA",
        "common_causes": ["استنفاد الموارد", "زيادة حجم النموذج", "مشاكل التجميع"],
        "investigation_steps": [
            "فحص استخدام CPU/الذاكرة/GPU",
            "مراجعة تغييرات حجم النموذج الأخيرة",
            "تحليل عمق قائمة الطلبات"
        ]
    },

    "silent_failure": {
        "symptoms": "النموذج يرجع توقعات لكنها خاطئة",
        "common_causes": ["عدم تطابق تقديم الميزات", "عدم تطابق إصدار النموذج/المعالجة المسبقة"],
        "investigation_steps": [
            "مقارنة قيم الميزات في التدريب مقابل التقديم",
            "التحقق من تطابق إصدار النموذج مع إصدار المعالجة المسبقة",
            "فحص الانحراف بين التدريب والتقديم"
        ]
    }
}

التواصل أثناء الحوادث

incident_communication:
  executive_update:
    format: "التأثير → الحالة الحالية → الوقت المتوقع → وقت التحديث التالي"
    example: "40% من المعاملات تُصنف خطأً. السبب الجذري محدد - مشكلة بيانات upstream. الإصلاح يُنشر الآن، الوقت المتوقع 15 دقيقة. التحديث التالي 3:30 م."

  technical_update:
    format: "ما نعرفه → ما نحقق فيه → ما نحتاجه"
    example: "ميزة merchant_risk_score ترجع nulls منذ 2 م. نحقق في API الشريك. نحتاج الوصول لصفحة حالتهم."

  post_mortem:
    sections:
      - "الجدول الزمني للأحداث"
      - "تحليل السبب الجذري"
      - "تقييم التأثير"
      - "بنود العمل مع المالكين"
      - "الدروس المستفادة"

علامات حمراء يجب تجنبها

العلامة الحمراء	النهج الأفضل
"أصلحته وحدي"	أظهر التعاون والتواصل
لوم الآخرين	تحمل المسؤولية، ركز على الحلول
لا مقاييس	حدد كمياً التأثير ووقت الحل
لا تعلم	دائماً ضمّن تحسينات العملية

إشارة المقابلة: أفضل قصص الحوادث تُظهر العمق التقني (تفهم النظام) والقيادة (نسقت الاستجابة وحسنت العمليات).

في الدرس التالي، سنغطي قصص التعاون بين الفرق. :::