SubQ: أول LLM Subquadratic يطلق Context Window بسعة 12M

[أليكس]: أهلاً بالجميع، وأهلاً بكم مرة ثانية في البودكاست الذكي من نيرد ليفل تك — حيث نافذة السياق لا تكون أبداً كبيرة زيادة عن اللزوم، ومدى الانتباه... حسناً، هو أقل من التربيعي بقليل.

[جيمي]: [يضحك] تكلم عن نفسك يا أليكس. أنا لا أزال أتشتت بنماذج LLMs الجديدة اللامعة. واليوم، لدينا شيء ضخم حقاً! نحن نتحدث عن SubQ — الوافد الجديد في عالم السياق الطويل، مع نافذة سياق تصل إلى 12 مليون توكن. هذا... الكثير من التوكنز. نتحدث عن مستويات من التوكنز مثل "يمكنني وضع صندوق بريدي الإلكتروني بالكامل هناك".

[أليكس]: أو، كما تعلم، قاعدة أكوادك بالكامل، وملاحظات حملة D&D الخاصة بك، وكل منيو مطعم في ميامي. وهي، للمصادفة، المكان الذي تعتبره Subquadratic — الشركة الناشئة وراء SubQ — موطناً لها.

[جيمي]: في ميامي فقط، صح؟ وادي السيليكون انتهى زمنه، وساوث بيتش هو الموضة الآن. إذاً يا أليكس، أعطنا الملخص السريع — ما هو SubQ، ولماذا الجميع متحمس جداً؟

[أليكس]: حسناً، تخيل هذا: Subquadratic، فريق مكون من 13 شخصاً مع تمويل أولي بقيمة 29 مليون دولار، يخرجون من وضع التخفي ويطلقون SubQ — وهو نموذج لغوي كبير مع نافذة سياق أصلية تبلغ 12 مليون توكن. هذا أكبر بمرتبة كاملة من أكبر النماذج العامة المتاحة حالياً.

[جيمي]: انتظر، 12 مليوناً؟ هذا... ليس مجرد "GPT-5.5 يشعر بالغيرة من السياق"، بل نحن في منطقة "Claude Opus يحتاج لمجموعة دعم نفسي". كيف حققوا ذلك؟

[أليكس]: الأمر كله يعود لشيء يسمى Subquadratic Sparse Attention — أو SSA، لأولئك الذين يحبون الاختصارات الرنانة. نماذج Transformer التقليدية يتوسع حجمها مع مربع طول المدخلات. ضاعف سياقك، يتضاعف الحساب أربع مرات. ليس أمراً ممتعاً. أما SSA، فيدعي أنه يختار فقط الأجزاء المهمة — لذا يتوسع الحساب والذاكرة بشكل خطي تقريبًا.

[جيمي]: إذاً... بدلاً من محاولة قراءة كل كلمة في "الحرب والسلم" دفعة واحدة، يقوم SSA فقط بمسح الأجزاء المثيرة؟

[أليكس]: بالضبط. إنه مثل القارئ السريع الذي يتذكر التفاصيل فعلياً. السحر يكمن في كيفية تقرير أي التوكنز تهم للانتباه. مع SSA، يدعي SubQ أنه يمكنه مواكبة الكبار في الدقة، ولكن بجزء بسيط من التكلفة.

[جيمي]: وعندما تقول "جزء بسيط"، تقصد...؟

[أليكس]: وفقاً لمقاييسهم الخاصة، يعمل SubQ بتكلفة أرخص بحوالي 300 مرة من Claude Opus بنفس الدقة في اختبار RULER 128K. ولتوضيح السياق — مع التورية المقصودة — يكلف تشغيل Claude Opus حوالي 2,600 دولار، بينما يقوم SubQ بذلك مقابل 8 دولارات.

[جيمي]: حسناً، ولكنك تعرف ما يقال: "إذا كان الأمر يبدو أجمل من أن يكون حقيقياً، فمن المحتمل أنه يحتاج إلى ورقة بحثية على arXiv". هل يصدق الناس هذه الأرقام؟

[أليكس]: [يضحك] أوه، المجتمع البحثي يجهز أسلحته يا جيمي. هناك شكوك بالتأكيد. لا توجد ورقة بحثية مراجعة من قبل الأقران، ولا أوزان مفتوحة، ولا نتائج من لوحات صدارة تابعة لجهات خارجية — مجرد مدونة شركة وبعض شرائح التسويق. الأرقام مثيرة للإعجاب، ولكن حتى يتمكن شخص آخر من إعادة إنتاجها، يظل الأمر كله في إطار "ثق بي يا أخي".

[جيمي]: إذاً، نحن في مرحلة "أرنا الإيصالات".

[أليكس]: تماماً. ولا يساعد في الأمر وجود فجوة غريبة في مقاييسهم الخاصة. في مهمة MRCR v2 — فكر في "البحث عن إبرة في كومة قش، لكن كومة القش هي مليون توكن" — سجل نموذجهم البحثي 83، لكن نموذج الإنتاج انخفض إلى حوالي 66. هذا انخفاض بمقدار 17 نقطة لم يشرحوه حقاً بعد.

[جيمي]: هذا يشبه إخبار مديرك أنك تفوقت في الاختبار التجريبي، ولكن في الاختبار الحقيقي، نوعاً ما... نسيت قلمك.

[أليكس]: [يضحك] بالضبط! ومع ذلك، في مقاييس أخرى — مثل مهام البرمجة — يثبت SubQ كفاءته. إنه يتفوق على الجيل السابق من Claude Opus، لكنه يتأخر عن أحدث إصدار Opus 4.7 وأحدث نماذج Anthropic.

[جيمي]: دعنا نتحدث عما أطلقوه بالفعل. إذاً، هناك نيردو، وSubQ Code، وSubQ Search؟

[أليكس]: صحيح. نيردو متوافق مع OpenAI، لذا يمكنك توصيله بمجموعتك التقنية الحالية بأقل قدر من العناء. SubQ Code مخصص للمطورين — ويدعي أنه يمكنك تحميل مستودع أكوادك بالكامل في نافذة السياق. وSubQ Search يستهدف الشركات التي تمتلك قواعد بيانات ضخمة من المستندات.

[جيمي]: ولكن قبل أن يتحمس الجميع أكثر من اللازم — كل هذا خلف قائمة انتظار، أليس كذلك؟

[أليكس]: نعم، بيتا خاصة في الوقت الحالي. ونافذة السياق التي تصدرت العناوين بـ 12 مليون توكن؟ هذه متاحة فقط لشركاء مختارين من الباحثين والمؤسسات. بالنسبة للبشر العاديين، يدعم نيردو ما يصل إلى مليون توكن. لا يزال ضخماً مقارنة بالمنافسين.

[جيمي]: إذاً، إذا أردت تشغيل أرشيف "أفكار جيمي" بالكامل على Notion عبر SubQ، أحتاج لمعرفة شخص ما في Subquadratic؟

[أليكس]: أو رشوة باريستا المناسب في ميامي، كما سمعت. لكن بجدية، إذا كنت تستخدم بالفعل أدوات السياق الطويل مثل Claude Code أو Cursor، فإن عرض SubQ هو أنه يمكن أن يكون وسيلة لتقليل التكلفة — طبقة سياق طويل، وليس بالضرورة بديلاً كاملاً.

[جيمي]: حسناً، حان وقت سؤال المليون توكن: هل SubQ هو حقاً "أول LLM أقل من تربيعي"، أم أن هذا مجرد تسويق؟

[أليكس]: آه، حروب "الأول". ليس صحيحاً تماماً. Mamba وRWKV وJamba يقومون بأشياء أقل من تربيعية منذ سنوات. وجهة نظر Subquadratic هي أن SubQ هو أول LLM تجاري من فئة النخبة (frontier-tier) مبني على بنية sparse-attention أقل من تربيعية بالكامل — لا توجد طبقات هجينة، ولا يوجد attention كثيف يختبئ في الزوايا.

[جيمي]: إذاً، الأمر ليس "لقد اخترعنا النار!" بل هو أكثر مثل "لقد وضعنا حفرة نار في بنتهاوس في ميامي ودعونا الجميع".

[أليكس]: [يضحك] تشبيه مثالي. البنية حقيقية ومثيرة للاهتمام، ولكن حجم ادعاءات التكلفة والسرعة؟ لا يزال بحاجة لإثبات.

[جيمي]: حسناً يا أليكس، لقد قرأت كل الهوامش. ما هو رأيك الصريح؟ هل هو مجرد ضجيج أم أمل حقيقي؟

[أليكس]: إذا ثبتت صحة حتى نصف ادعاءاتهم، فقد يجعل SubQ مهام السياق الطويل — مثل مساعدي البرمجة للمستودعات الكاملة أو الأسئلة والأجوبة للمستندات القانونية — ميسورة التكلفة حقاً. لكن الشهرين القادمين حاسمان. إذا تمكن الباحثون المستقلون من إعادة إنتاج النتائج، فقد يصبح SubQ هو المعيار الجديد لنماذج LLMs ذات السياق الطويل. إذا لم يحدث ذلك... فسينضم إلى نادي "رائع، ولكن مبالغ فيه تجارياً".

[جيمي]: إذاً، SubQ هو إما "ميامي هيت" عالم الـ LLMs، أو مجرد شركة ناشئة أخرى مع حفلة إطلاق مبهرجة. في كلتا الحالتين، سنراقب.

[أليكس]: وربما سنقوم بتحديث لوحة صدارة LMArena كل صباح. [يضحك]

[جيمي]: هذا كل شيء لحلقة اليوم من البودكاست الذكي من نيرد ليفل تك! إذا كنت تريد وصولاً مبكراً لـ SubQ، سجل في قائمة الانتظار الخاصة بهم — فقط لا تنسَ إخبارنا إذا تم قبولك.

[أليكس]: شكراً لاستماعكم! اشتركوا، واتركوا لنا تقييماً، وتذكروا — ابقوا نوافذ سياقكم واسعة، ولكن شكوككم أوسع.

[جيمي]: نراكم المرة القادمة! [تتلاشى موسيقى النهاية]