SubQ: أول LLM Subquadratic يطلق Context Window بحجم 12M

١ يونيو ٢٠٢٦

SubQ: First Subquadratic LLM Ships 12M Context Window

ملخص

في 5 مايو 2026، خرجت شركة Subquadratic الناشئة في ميامي والمكونة من 13 شخصًا من مرحلة السرية بتمويل أولي قدره 29 مليون دولار ونموذج SubQ 1M-Preview — وهو نموذج لغوي كبير (LLM) من الفئة الرائدة تدعي أنه أول نموذج تجاري مبني بالكامل على بنية الانتباه المتناثر تحت التربيعي (SSA).12 الفكرة المطروحة: نافذة سياق أصلية تبلغ 12 مليون توكن في النموذج البحثي، و1 مليون توكن في API الإنتاجي، وبتكلفة تقارب خمس تكلفة التوكن الواحد في Claude Opus أو GPT-5.5 عند أطوال سياق مماثلة.13 تُظهر أرقام Subquadratic الخاصة أن نموذج SubQ سجل 95.0% في اختبار RULER 128K بتكلفة حوسبة بلغت 8 دولارات، مقابل 94.8% لنموذج Claude Opus بتكلفة تقارب 2,600 دولار — أي خفض في التكلفة بنحو 300 ضعف بنفس الدقة.4 لكن الإطلاق يأتي بدون ورقة بحثية على arXiv، أو أوزان مفتوحة، أو إدخالات في لوحات الصدارة الخارجية مثل Artificial Analysis أو LiveBench أو LMArena، وبدأ الباحثون بالفعل في الاعتراض على صياغة "كفاءة بمقدار 1,000 ضعف".5 يستعرض هذا المنشور ما قدمته Subquadratic بالفعل، وأين يمكن الدفاع عن الادعاء المعماري، وأين تحتاج المعايير المرجعية إلى تدقيق، وكيف يقف SubQ أمام Claude Opus وGPT-5.5 وGemini 3.1 Pro في الاختبارات الثلاثة التي اختارت Subquadratic نشرها.


ما ستتعلمه

  • ما هو الانتباه المتناثر تحت التربيعي (SSA) وكيف يختلف عن FlashAttention وعن النماذج السابقة تحت التربيعية مثل Mamba وRWKV
  • جدول المعايير المرجعية الكامل الذي نشرته Subquadratic: RULER 128K وMRCR v2 وSWE-Bench Verified — وأين تتباعد أرقام البحث عن أرقام الإنتاج
  • كيف تم بناء ادعاءات خفض التكلفة بمقدار 300 ضعف و1,000 ضعف، وما الذي تغفله هذه الادعاءات
  • لماذا تعتبر صياغة SubQ كـ "أول نموذج لغوي كبير تحت تربيعي" أضيق مما تبدو عليه
  • ما هي المنتجات التي أطلقتها Subquadratic في اليوم الأول — SubQ API وSubQ Code وSubQ Search — وكيفية الحصول على حق الوصول
  • فجوات التحقق المحددة التي جعلت الباحثين يطالبون بإعادة إنتاج النتائج بشكل مستقل

ما الذي شحنته Subquadratic بالفعل

أعلنت Subquadratic في 5 مايو 2026 عن عائلة منتجات واحدة: SubQ 1M-Preview.1 يشير الرقم "1M" إلى نافذة سياق API الإنتاجي. بينما يمتد تكوين بحثي منفصل إلى 12 مليون توكن أصلي، وهو متاح حاليًا للأبحاث وشركاء المؤسسات المختارين فقط.3

تم إطلاق ثلاث واجهات في وقت واحد، وجميعها خلف قائمة انتظار:6

  • SubQ API — نقاط نهاية متوافقة مع OpenAI تعرض النموذج الإنتاجي بسعة 1 مليون توكن مع دعم استخدام الأدوات (tool-use)
  • SubQ Code — وكيل برمجة عبر واجهة السطر البرمجي (CLI) يقوم بتحميل قاعدة بيانات كاملة في نافذة سياق واحدة، مرخص لكل مقعد مطور ويُسوق كطبقة سياق طويل للفرق التي تستخدم بالفعل Claude Code أو Codex أو Cursor
  • SubQ Search — منتج استرجاع ذو سياق طويل يستهدف مجموعات وثائق المؤسسات

لم تنشر الشركة بعد سعرًا عامًا لكل توكن. في تغطية الإطلاق، وضعت Subquadratic نموذج SubQ API عند حوالي خمس تكلفة التوكن الواحد في Claude Opus أو GPT-5.5 عند أطوال سياق مماثلة.23

يدير Subquadratic الرئيس التنفيذي Justin Dangel، وهو مؤسس لخمس شركات، والمدير التقني Alex Whedon، الذي كان سابقًا مهندس برمجيات في Meta ولاحقًا رئيس الذكاء الاصطناعي التوليدي في TribeAI.7 قاد الجولة الأولية Javier Villamizar (سابقًا في SoftBank Vision Fund)، بمشاركة من Justin Mateen (المؤسس المشارك لـ Tinder ومؤسس JAM Fund)، وGrant Gittlin، وJaclyn Rice Nelson، ومستثمرين أوائل في Anthropic وOpenAI وStripe وBrex.7 تضم الشركة 13 شخصًا في المجمل، بما في ذلك فريق بحثي مكون من 11 شخصًا جميعهم يحملون درجة الدكتوراه ولهم انتماءات سابقة في Meta وGoogle وOxford وCambridge وBYU وByteDance وAdobe.8


ما هو الانتباه المتناثر تحت التربيعي (SSA) في الواقع

انتباه Transformer القياسي هو O(n²) في طول التسلسل. مضاعفة السياق تضاعف الحوسبة أربع مرات. يقوم FlashAttention بإعادة تنظيم نفس العمليات الحسابية لتكون فعالة في الإدخال/الإخراج على وحدات معالجة الرسومات (GPUs) ويقلل من بصمة الذاكرة من تربيعية إلى خطية، لكنه لا يغير فئة تعقيد الحوسبة — حيث لا يزال عدد العمليات العائمة (FLOPs) هو O(n²).9

الانتباه المتناثر تحت التربيعي (SSA)، كما تصفه Subquadratic، هو نظام توجيه متناثر يعتمد على المحتوى يتعلم أي أزواج التوكنات مهمة بالفعل ويحسب الانتباه الدقيق فقط عبر المجموعة الفرعية ذات الصلة.10 الادعاء المنشور هو أن هذا يعطي توسعًا خطيًا تقريبًا في الحوسبة والذاكرة للتسلسلات الطويلة مع الحفاظ على القدرة على استعادة معلومات محددة تم تقديمها في وقت مبكر جدًا من التسلسل — وهو أمر كانت النماذج الخطية المتكررة البحتة مثل Mamba وRWKV تعاني منه تاريخيًا.1011

أرقام تسريع الملء المسبق (prefill) لـ Subquadratic، مقاسة مقابل FlashAttention-2 على وحدات معالجة الرسومات Nvidia B200:10

طول السياقتسريع SSA مقابل FlashAttention-2
128 ألف توكن7.2x
256 ألف توكن13.2x
512 ألف توكن23x
1 مليون توكن52.2x

الرقم المقتبس على نطاق واسع "أسرع بـ 52 مرة من FlashAttention عند 1 مليون توكن" هو صف الـ 1 مليون توكن، مقربًا.1 عند 12 مليون توكن، تدعي Subquadratic أن حوسبة الانتباه تنخفض بنحو 1,000 ضعف مقارنة بنماذج Transformer الرائدة، مع خفض FLOPs الانتباه بنحو 62.8 ضعف مقارنة بالانتباه التربيعي القياسي عند 1 مليون توكن.210

تأطير هام. تصف حملة Subquadratic التسويقية نموذج SubQ بأنه "أول نموذج لغوي كبير (LLM) تحت-تربيعي (subquadratic) بالكامل".10 هذه الصياغة تتجاهل سنوات من العمل: فنماذج Mamba (Gu and Dao, 2023) و RWKV و Jamba هي بالفعل تحت-تربيعية وفي بعض الحالات خطية بالكامل في طول التسلسل.11 كما أطلقت DeepSeek تقنية DeepSeek Sparse Attention (DSA) ضمن Multi-Head Latent Attention في إصدار V3.2-Exp، ثم وسعت هذا النهج في طبقات Compressed Sparse Attention (CSA) و Heavily Compressed Attention (HCA) في إصدار V4، لذا فإن وجود نموذج تجاري من فئة النخبة (frontier) يعتمد على الانتباه المتناثر (sparse attention) ليس أمراً غير مسبوق أيضاً.12 إن الادعاء الأضيق الذي تدافع عنه Subquadratic فعلياً — "أول نموذج تجاري من فئة النخبة بمعمارية انتباه متناثر تحت-تربيعية بالكامل" — هو ادعاء يمكن الدفاع عنه بشكل أكبر. تجمع متغيرات DeepSeek بين الانتباه المتناثر وضغط KV-cache والطبقات الكثيفة (dense layers)؛ بينما تعتمد رؤية SubQ على أن SSA هو آلية الانتباه بالكامل من البداية إلى النهاية، وهو ما يحقق أرقام القياس المعلنة.1210


جدول الاختبارات القياسية

نشرت Subquadratic ثلاثة اختبارات قياسية بالضبط: RULER 128K، و MRCR v2، و SWE-Bench Verified. تم إجراء الثلاثة بواسطة خدمة اختبار تابعة لجهة خارجية، وجميعها مهام صُمم SubQ خصيصاً لها — وهي استرجاع السياق الطويل والبرمجة. التقييمات الأوسع التي تشمل الاستدلال العام، والرياضيات، والأداء متعدد اللغات، والسلامة ليست موجودة في مواد الإطلاق.513

RULER 128K (استرجاع السياق الطويل)

النموذجالدقةتكلفة الحوسبة لكل تشغيل
SubQ95.0%$8
Claude Opus94.8%~$2,600

عند نفس مستوى الدقة، يعمل SubQ بتكلفة أقل بنحو 300 مرة تقريباً.4 والتحفظ هنا هو أن اختبار RULER عند 128K يمثل قمة المنحنى لنماذج النخبة — حيث تتجمع نتائج لوحة الصدارة في نطاق التسعينيات المنخفض إلى المتوسط، لذا فإن العنوان الرئيسي هنا هو "لم يتراجع في اختبار قياسي تفوز به نماذج النخبة بالفعل، مع تكلفة أقل بمرتبتين عشريتين"، وليس "تفوق على دقة نماذج النخبة".14

MRCR v2 (استرجاع الإبر المتعددة والإحالة المشتركة)

النموذجالدرجة
SubQ (بحثي)83
GPT-5.574.0
SubQ (جهة خارجية)65.9
Claude Opus 4.732.2
Gemini 3.1 Pro26.3

نتيجة MRCR هي الموضع الذي تصبح فيه الملحوظات كبيرة. الرقم البحثي لـ Subquadratic هو 83، لكن درجة نموذج الإنتاج التي تحققت منها جهة خارجية هي 65.9 — وهي فجوة قدرها 17 نقطة لم تشرحها Subquadratic بالكامل، وتجعل نموذج الإنتاج أقل من GPT-5.5 في هذا الاختبار القياسي.513 ومقارنة بـ Claude Opus 4.7 و Gemini 3.1 Pro، لا يزال نموذج إنتاج SubQ يحقق تقدماً واسعاً.

SWE-Bench Verified (عميل برمجة)

النموذجPass@1
Opus 4.787.6%
SubQ81.8%
Opus 4.680.8%

في البرمجة الوكيلية العامة، يتفوق SubQ قليلاً على الجيل السابق Opus 4.6 ولكنه يتأخر عن Opus 4.7 الحالي بنحو 6 نقاط، وهو بعيد تماماً عن نتائج Opus 4.8 من Anthropic في 28 مايو، والتي سجلت 88.6% في SWE-bench Verified.15 لم تنشر Subquadratic أرقام SubQ مقابل Opus 4.8.


كيف تم بناء ادعاءات "1,000x" و "300x"

هناك رقمان متعلقان بالتكلفة يهيمنان على تغطية الإطلاق، وهما يقيسان أشياء مختلفة:

  1. "تخفيض بنحو 1,000x في حوسبة الانتباه" — هذا رقم معماري تم قياسه عند سياق كامل يبلغ 12 مليون توكن، بمقارنة SSA الخاص بـ SubQ مقابل توسع الانتباه التربيعي في Transformer. إنها حجة قائمة على عدد العمليات الحسابية (FLOPs) حول كيفية نمو الحوسبة إذا حاولت تشغيل نموذج Transformer من فئة النخبة عند 12 مليون توكن.2
  2. "تخفيض التكلفة بنحو 300x" — هذا رقم على مستوى الاختبار القياسي من تشغيل RULER 128K، بمقارنة تكلفة SubQ البالغة 8 دولارات مقابل تكلفة Claude Opus البالغة 2,600 دولار تقريباً عند نفس مستوى الدقة.4

كلا الرقمين صادران عن Subquadratic. ولم يتم إعادة إنتاج أي منهما بشكل مستقل. كما أن رقم 300x يتضمن عوامل مربكة: فتسعير المعاينة من Subquadratic أقل من التسعير المستدام على المدى الطويل لأي مزود لنماذج النخبة، ويستخدم مقام التكلفة تسعير Claude Opus القياسي البالغ 5 دولارات / 25 دولاراً لكل مليون توكن، وهو السعر الذي يدفعه أي تقييم بمقياس RULER — ميزة Subquadratic هي في سعر التوكن الواحد، وليس لأن Anthropic تفرض رسوماً إضافية على السياق الممتد في نماذج Opus الحالية (فهي لا تفعل ذلك؛ حيث تشمل نماذج Opus 4.6/4.7/4.8 سياق 1 مليون توكن بالكامل بالتسعير القياسي).16 لم يتم نشر مقارنة تكلفة متكافئة عند تسعير التوفر العام (GA) النهائي لـ SubQ.


ما هو مفقود: فجوات التحقق

ظهرت معارضة من المجتمع البحثي في غضون 48 ساعة من الإطلاق، وتم تلخيصها في تغطية VentureBeat وعدة تقارير تقنية مستقلة.517 المخاوف المتكررة هي:

  • لا توجد ورقة بحثية مراجعة من قبل الأقران، ولا مسودة arXiv. المواد التقنية موجودة فقط على مدونة شركة Subquadratic وموقع تسويقي.
  • لا توجد أوزان مفتوحة (open weights). لا يمكن للباحثين الخارجيين إجراء تقييماتهم الخاصة.
  • لا توجد مدخلات في Artificial Analysis أو LiveBench أو LMArena. لوحات الصدارة العامة القياسية لا تملك شيئاً للمقارنة به.
  • مجموعة اختبارات قياسية ضيقة. ثلاثة اختبارات فقط، جميعها في استرجاع السياق الطويل والبرمجة — وهي أقوى مناطق Subquadratic.
  • اختبارات قياسية من تشغيل واحد. تم تقييم كل نموذج مرة واحدة دون الإبلاغ عن فترات الثقة، مما يترك مجالاً للتباين بين التشغيل والآخر.
  • فجوة غير مفسرة بين البحث والإنتاج. الانخفاض بمقدار 17 نقطة في MRCR بين الرقم البحثي لـ Subquadratic ودرجة نموذج الإنتاج التي تحققت منها جهة خارجية هو أوضح علامة خطر.

لا يعني أي من هذا أن البنية الهيكلية وهمية — فكلا من Mamba و RWKV هما بنيتان تحت-تربيعيتان (subquadratic) حقيقيتان، ومنشورتان، وتمت إعادة إنتاجهما، لذا فإن الفئة راسخة بالفعل.11 ولكنه يعني أن الحجم المحدد لمزايا التكلفة والسرعة التي تدعيها SubQ يظل رقماً تسويقياً حتى تتمكن المجموعات الخارجية من اختباره تحت الضغط.


أين يمكن أن تُحدث SubQ فارقاً (إذا صحت الأرقام)

القراءة الصادقة للإطلاق: حتى لو كانت الميزة نصف ما يُدعى، فإن نموذجاً من فئة النخبة (frontier-tier) تحت-تربيعي مع استرجاع موثوق للسياق الطويل من شأنه أن يغير ثلاثة أعباء عمل بشكل ملموس.

  • عملاء البرمجة لكامل المستودع (Whole-repo coding agents). تكمن فكرة SubQ Code في تحميل المستودع بالكامل في السياق في تمريرة واحدة. بأسعار Claude Opus 4.7، يعد ذلك غير اقتصادي لمعظم قواعد الأكواد. ولكن بخُمس التكلفة، تتغير الحسابات.
  • البحث في مجموعات المستندات والأسئلة والأجوبة. تحافظ SSA على الاسترجاع الدقيق في النطاقات الطويلة، وهو وضع الفشل للنماذج المتكررة الخطية البحتة. إذا تم التحقق من ذلك، فهذا يعد ميزاً ذا معنى لحالات الاستخدام القانونية والمالية التي تعاني منها خطوط أنابيب RAG البحتة.
  • التخطيط الوكيل طويل المدى (Long-horizon agentic planning). يصبح الوكلاء متعددو الخطوات الذين يمتلكون ذاكرة لكل دورة سابقة رخيصين بما يكفي ليكونوا هم الوضع الافتراضي بدلاً من الاستثناء.

الـ 60 يوماً القادمة هي الاختبار الحقيقي. فإما أن تعيد المجموعات المستقلة إنتاج شيء قريب من الأرقام المنشورة وتصبح SubQ هي الخيار الافتراضي للسياق الطويل، أو تتسع الفجوة بين أرقام الأبحاث وأرقام الإنتاج المتحقق منها وينضم الإطلاق إلى قائمة المحاولات تحت-التربيعية المثيرة للاهتمام معمارياً ولكن المبالغ فيها تجارياً.


كيفية الحصول على حق الوصول

جميع منتجات SubQ الثلاثة — API، و Code، و Search — في مرحلة بيتا خاصة، مع إمكانية الوصول من خلال نماذج قائمة الانتظار على موقع Subquadratic.6 يوفر API نقاط نهاية متوافقة مع OpenAI، لذا يمكن لمعظم الأكواد الحالية التوجيه إلى SubQ عن طريق تغيير عنوان URL الأساسي بمجرد منح الوصول. نافذة سياق البحث البالغة 12 مليون توكن ليست في API العام؛ فهي مقتصرة على الأبحاث وشركاء المؤسسات المختارين.

إذا كنت تستخدم بالفعل Claude Code أو Codex أو Cursor، فإن عرض Subquadratic لـ SubQ Code هو طبقة سياق طويل مرخصة لكل مقعد، مصاغة كمخفض للتكلفة للفرق التي تشغل سير عمل وكلاء بسياق كبير بدلاً من كونها بديلاً للوكيل المضيف.


الخلاصة

قدمت Subquadratic قصة معمارية موثوقة، وعرض تسعير هجومي، ومجموعة اختبارات مع فوز واحد نظيف (RULER 128K مع خفض التكلفة بمقدار 300 ضعف)، ونتيجة واحدة مختلطة (MRCR v2 مع فجوة 17 نقطة بين البحث والإنتاج)، وأداء واحد ضعيف (SWE-Bench Verified، خلف Opus 4.7). إن تأطير "أول LLM تحت-تربيعي" يبالغ في تسويق ما هو بخلاف ذلك الإطلاق الأكثر إثارة للاهتمام لبنية الانتباه في عام 2026 حتى الآن. يعتمد ما إذا كانت SubQ ستصبح المعيار الافتراضي الجديد للسياق الطويل أو تنضم إلى قائمة النماذج تحت-التربيعية التي لم تتوسع عند حدود النخبة بالكامل تقريباً على ما سيحدث عندما يضع الباحثون المستقلون أيديهم على الأوزان أو يحصلون على وصول لـ API — وهو اختبار أمام الشركة 60 يوماً على الأكثر لاجتيازه قبل أن تصبح رواية الإطلاق قديمة.

للقراءة ذات الصلة حول صورة تكلفة السياق الطويل، راجع تحليلنا العميق لـ DeepSeek V4 حول اقتصاديات سياق المليون توكن و مقارنة سحابة GPU لحوسبة الذكاء الاصطناعي لعام 2026.


Footnotes

  1. SiliconANGLE — "Subquadratic launches with $29M to bring 12M-token context windows to AI" (May 5, 2026). https://siliconangle.com/2026/05/05/subquadratic-launches-29m-bring-12m-token-context-windows-ai/ 2 3 4

  2. VentureBeat — "Miami startup Subquadratic claims 1,000x AI efficiency gain with SubQ model; researchers demand independent proof." https://venturebeat.com/technology/miami-startup-subquadratic-claims-1-000x-ai-efficiency-gain-with-subq-model-researchers-demand-independent-proof 2 3 4

  3. eWeek — "Subquadratic تطلق SubQ، نموذج ذكاء اصطناعي بـ 12 مليون توكن لمهام السياق الطويل." https://www.eweek.com/news/subquadratic-subq-12m-token-llm-neuron/ 2 3 4

  4. felloai — "مراجعة SubQ: أول نموذج لغوي كبير Subquadratic بنافذة سياق 12 مليون توكن." https://felloai.com/subq-llm-review/ 2 3

  5. تغطية VentureBeat وملخص dataworldbank حول اعتراض الباحثين على ادعاءات SubQ. https://www.dataworldbank.net/2026/05/06/miami-startup-subquadratic-claims-1000x-ai-efficiency-gain-with-subq-model-researchers-demand-independent-proof/ 2 3 4 5 6

  6. LLM Reference — "SubQ بواسطة Subquadratic — النماذج، التسعير و API." https://www.llmreference.com/model-family/subq 2

  7. Pulse 2.0 — "Subquadratic: جمع 29 مليون دولار في جولة Seed لمعمارية ذكاء اصطناعي ذات سياق طويل." https://pulse2.com/subquadratic-29-million-seed-raised-for-long-context-ai-architecture/ 2

  8. 36Kr — "13 شخصاً يطيحون بـ Transformer: المعمارية الجديدة SSA تخفض القوة الحوسبية بمقدار ألف مرة بتكلفة تبلغ 5% فقط من Opus." https://eu.36kr.com/en/p/3797755244157959

  9. Tri Dao وآخرون، "FlashAttention: انتباه دقيق سريع وفعال في استخدام الذاكرة مع مراعاة الإدخال والإخراج" (NeurIPS 2022). https://arxiv.org/abs/2205.14135 — يقوم FlashAttention بإعادة تنظيم الانتباه لتحقيق كفاءة الإدخال والإخراج دون تغيير فئة التعقيد.

  10. Subquadratic — "كيف تجعل SSA السياق الطويل عملياً." https://subq.ai/how-ssa-makes-long-context-practical 2 3 4 5 6 7

  11. CallSphere — "ما وراء Transformers: نماذج Mamba و RWKV و State-Space تتحدى المعمارية المهيمنة (2026)." https://callsphere.ai/blog/transformer-alternatives-mamba-rwkv-state-space-models-2026 2 3 4

  12. Sebastian Raschka — نظرة عامة على معمارية "DeepSeek Sparse Attention" (تم تقديم DSA في V3.2-Exp، 2025، ضمن إطار عمل MLA): https://sebastianraschka.com/llm-architecture-gallery/deepseek-sparse-attention/ — وامتداد V4 إلى Compressed Sparse Attention (CSA) بالإضافة إلى Heavily Compressed Attention (HCA): https://www.intoai.pub/p/what-makes-deekseek-v4-so-good 2

  13. DataCamp — "شرح SubQ AI: ما مدى جودة النموذج اللغوي الكبير ذو نافذة السياق 12 مليون؟" https://www.datacamp.com/blog/subq-ai-explained 2

  14. توثيق معيار RULER للسياق الطويل؛ نماذج رائدة متعددة تتجمع عند 94-95% عند ميزانية 128K. https://llm-stats.com/benchmarks/ruler

  15. نيرد ليفل تك — "Claude Opus 4.8: الاختبارات المرجعية، سير العمل الديناميكي، والتسعير." يصل Opus 4.8 إلى 88.6% في SWE-bench Verified. 2

  16. وثائق تسعير Anthropic Claude API؛ تشمل إصدارات Opus 4.6/4.7/4.8 نافذة سياق كاملة تبلغ 1 مليون بسعر قياسي 5 دولار / 25 دولار لكل مليون توكن. https://platform.claude.com/docs/en/about-claude/pricing

  17. byteiota — "ذكاء اصطناعي بـ 12 مليون توكن من SubQ: طفرة أم Theranos؟" تعليق تقني مستقل حول فجوة التحقق. https://byteiota.com/subqs-12m-token-ai-breakthrough-or-theranos/

الأسئلة الشائعة

ليس بالضبط. Mamba و RWKV و Jamba كلها تحت-تربيعية ومنشورة منذ سنوات. 11 التأطير الذي يمكن لـ Subquadratic الدفاع عنه هو أن SubQ هو أول LLM تجاري من فئة النخبة مبني على بنية الانتباه المتناثر (sparse-attention) تحت-تربيعية بالكامل. النماذج تحت-التربيعية السابقة هي في الغالب متكررة أو هجينة.

نشرة أسبوعية مجانية

ابقَ على مسار النيرد

بريد واحد أسبوعياً — دورات، مقالات معمّقة، أدوات، وتجارب ذكاء اصطناعي.

بدون إزعاج. إلغاء الاشتراك في أي وقت.