الشبكات العصبية والتعلم العميق

المفاهيم الأساسية

1. دوال التنشيط

سؤال المقابلة: "اشرح دوال التنشيط الشائعة ومتى تستخدم كل منها."

ReLU:

f(x) = max(0, x)

• الإيجابيات: سريع، يساعد في التدرج المتلاشي، تنشيط متفرق
• السلبيات: عصبونات ميتة (عصبونات تخرج دائماً 0)
• الاستخدام: طبقات مخفية في معظم البنى

Sigmoid:

f(x) = 1 / (1 + e^(-x))

• الإيجابيات: تدرج سلس، مخرجات في (0,1)
• السلبيات: مشكلة التدرج المتلاشي، ليس متمركزاً على الصفر
• الاستخدام: طبقة إخراج التصنيف الثنائي

Softmax (إخراج متعدد الفئات):

f(x_i) = e^(x_i) / Σ(e^(x_j))

• الاستخدام: طبقة إخراج التصنيف متعدد الفئات

---

2. Backpropagation

سؤال المقابلة: "اشرح backpropagation."

إجابة بسيطة:

1. تمرير أمامي: حساب التنبؤات
2. حساب الخسارة: مقارنة مع التسميات الحقيقية
3. تمرير خلفي: حساب التدرجات باستخدام قاعدة السلسلة
4. تحديث الأوزان: تعديل الأوزان بما يتناسب مع التدرجات

النقاط الرئيسية:

• يحسب بكفاءة جميع التدرجات في تمريرة خلفية واحدة
• قاعدة السلسلة تنشر الخطأ من الإخراج إلى الإدخال
• يمكن أن يحدث تدرجات متلاشية/منفجرة في الشبكات العميقة

---

3. تقنيات Regularization

سؤال المقابلة: "كيف تمنع overfitting في الشبكات العصبية؟"

Dropout:

• تعيين عصبونات عشوائياً إلى 0 أثناء التدريب
• يجبر الشبكة على تعلم ميزات قوية

Batch Normalization:

• تطبيع مدخلات الطبقة إلى متوسط صفر، تباين وحدة
• يسمح بمعدلات تعلم أعلى

L2 Regularization:

• إضافة عقوبة: Loss = MSE + λ * Σ(w²)
• يشجع أوزاناً أصغر

---

4. الشبكات العصبية التلافيفية (CNNs)

سؤال المقابلة: "كيف تعمل CNNs ولماذا للصور؟"

المكونات الرئيسية:

1. طبقة التلافيف: تطبق مرشحات لكشف الأنماط
2. طبقة التجميع: تقليل العينات (max/average pooling)
3. طبقة متصلة بالكامل: تصنيف نهائي

لماذا CNNs للصور:

• مشاركة المعلمات: نفس المرشح عبر الصورة (معلمات أقل)
• ثبات الترجمة: يكتشف الميزات في أي مكان في الصورة
• ميزات هرمية: طبقات مبكرة → حواف؛ طبقات عميقة → أشياء

---

5. الشبكات العصبية التكرارية (RNNs)

سؤال المقابلة: "اشرح RNNs وقيودها."

كيف تعمل RNNs:

• معالجة التسلسلات بالحفاظ على حالة مخفية
• تحديث الحالة المخفية في كل خطوة زمنية

القيود:

1. تدرج متلاشٍ: التدرجات تتضاءل على التسلسلات الطويلة
2. تدرج منفجر: التدرجات تنمو أسياً
3. تبعيات طويلة المدى: تكافح لتذكر معلومات بعيدة

الحل: LSTM:

• بوابات تتحكم في تدفق المعلومات
• أفضل في التسلسلات الطويلة

---

6. Transformers

سؤال المقابلة: "لماذا تعمل transformers أفضل من RNNs لـ NLP؟"

الابتكار الرئيسي: آلية الانتباه

• تسمح للنموذج بالتركيز على أجزاء ذات صلة من الإدخال
• معالجة متوازية (مقابل تسلسلية في RNNs)
• تبعيات أفضل طويلة المدى

لماذا أفضل من RNNs:

1. المعالجة المتوازية: معالجة التسلسل بأكمله مرة واحدة
2. تبعيات طويلة المدى: اتصالات مباشرة عبر الانتباه
3. لا تدرج متلاشٍ: مسارات أقصر للتدرجات

---

النقاط الرئيسية

1. ReLU افتراضي - استخدم للطبقات المخفية ما لم يكن لديك سبب محدد
2. Regularization حاسم - Dropout، batch norm، L2 لمنع overfitting
3. اختيار البنية مهم - CNN للصور، Transformers للنص/التسلسلات
4. اعرف المقايضات - يمكن شرح متى تستخدم كل تقنية
5. Transformers تهيمن على NLP - افهم آلية الانتباه

:::