المحتويات
المقدمة
يمكن تشغيل نموذج أولي مبني على API بحلول عصر الجمعة. أما تشغيل الميزة نفسها لمستخدمين حقيقيين، بتكلفة متوقعة وجودة يمكن الدفاع عنها، فمشكلة هندسة أنظمة. ويقع معظم العمل حول النموذج: كيف توجَّه الطلبات، وكيف يُسترجع السياق، وكيف تُقيَّم المخرجات، وأين يذهب المال.
واجهات API مستضافة أم نماذج ذاتية الاستضافة
تمنحك واجهات النماذج المستضافة أقوى النماذج دون وحدات GPU لإدارتها، وتدفع لكل رمز. أما الاستضافة الذاتية للنماذج مفتوحة الأوزان فتمنحك التحكم في موقع البيانات والتأخير وتكلفة الوحدة عند الأحجام الكبيرة، مقابل امتلاك سعة GPU ومهارات تشغيلها. وينتهي الأمر بمعظم الفرق الناضجة باستخدام الاثنين خلف بوابة واحدة، وتوجيه كل حالة استخدام إلى أرخص نموذج يحقق مستوى الجودة المطلوب.
أساسيات تشغيل الاستدلال
يهم المستخدمين رقمان للتأخير: الوقت حتى أول رمز، ومعدل وصول بقية الرموز. أما الإنتاجية، التي تحدد التكلفة، فتعتمد على عدد الطلبات التي تخدمها وحدة GPU في الوقت نفسه. وتستخدم محركات مثل vLLM وTensorRT-LLM وHugging Face Text Generation Inference التجميع المستمر لإبقاء وحدات GPU مشغولة، مع إدارة دقيقة لذاكرة المفتاح والقيمة المؤقتة التي تحد عادةً من التزامن. فمثلًا تخصص PagedAttention في vLLM هذه الذاكرة على صفحات لتقليل الهدر.
- وسّع حسب طول قائمة الانتظار أو الرموز قيد المعالجة أو استخدام GPU. فاستخدام المعالج لا يخبرك بشيء تقريبًا عن خادم الاستدلال.
- كثيرًا ما يتيح تقليل دقة الأوزان إلى 8-bit أو 4-bit تشغيل النموذج على وحدات GPU أصغر أو أقل عددًا، مقابل تراجع طفيف في الجودة. قس هذا التراجع على مجموعة التقييم الخاصة بك قبل الإطلاق.
- أبقِ النماذج جاهزة. فقد يستغرق تحميل عشرات الغيغابايت من الأوزان عند البدء البارد دقائق، لذلك لا يكون التوسع إلى الصفر منطقيًا إلا للعمل الدفعي.
الاسترجاع الصحيح
يستند التوليد المعزز بالاسترجاع في إجاباته إلى مستنداتك. وتعتمد جودة الإجابة على مسار الاسترجاع أكثر بكثير من النموذج. قسّم المستندات حسب بنيتها الطبيعية لا بعدد ثابت من الأحرف، واجمع البحث بالكلمات المفتاحية مع التشابه المتجهي (البحث الهجين)، وأضف خطوة إعادة ترتيب قبل وصول السياق إلى النموذج. ويكفي إعداد pgvector جيد الضبط لفرق كثيرة، أما قواعد البيانات المتجهية المخصصة فتستحق مكانها على نطاق أكبر.
افرض صلاحيات المستندات وقت الاسترجاع. إذا لم يستطع المستخدم فتح مستند مباشرة، فيجب ألا يقتبسه المساعد له أيضًا. هذا أكثر تسريب بيانات شيوعًا في أدوات الذكاء الاصطناعي الداخلية، وأصعبها إصلاحًا لاحقًا.
ضع بوابة أمام كل نموذج
بوابة النماذج هي نقطة التحكم التي تجعل كل شيء آخر قابلًا للإدارة. فهي تتولى المصادقة وحدود المعدل، وتوجه الطلبات بين النماذج والمزودين، وتتحول إلى بديل عند تراجع مزود، وتخزن الأوامر المتكررة مؤقتًا، وتخفي البيانات الحساسة من السجلات، وتنسب التكلفة إلى الفريق والميزة المسؤولين.
routes:
- name: support-summaries
primary: small-model
fallback: large-model
escalate_when: confidence < 0.7
max_output_tokens: 400
cache: semantic
daily_budget_usd: 150التقييم هو المنتج الحقيقي
دون حلقة تقييم، يصبح كل تعديل في الأوامر وكل ترقية نموذج مجرد تخمين. ابنِ مجموعة تقييم من حركة حقيقية مجهولة الهوية، وواصل إضافة الأخطاء التي يبلغ عنها المستخدمون. واجمع بين الفحوص الآلية (التنسيق، والاستناد إلى المصادر المسترجعة، والمحتوى المحظور) والمراجعة البشرية المنتظمة لعينة. شغّل المجموعة قبل وصول أي تغيير في النموذج أو الأوامر أو الاسترجاع إلى الإنتاج، تمامًا كما تشغل اختبارات الانحدار للكود.
أين يذهب المال فعلًا
- وحدات GPU الخاملة: سعة محجوزة بحجم الذروة ومستخدمة بجزء صغير منها معظم اليوم.
- السياق الزائد: حشو مستندات كاملة في كل أمر بدل استرجاع المقاطع الصحيحة.
- حلقات الوكلاء: وكلاء متعددو الخطوات يستدعون النموذج مرات كثيرة لكل مهمة، غالبًا لتدارك أخطائهم.
- تسعير تفاعلي للأعمال الدفعية: التلخيص والتصنيف والإثراء التي يمكن تشغيلها ليلًا على سعة مخفضة أو قابلة للمقاطعة.
الخاتمة
تعامل مع ميزات الذكاء الاصطناعي كأي نظام إنتاج آخر، مع SLO للتأخير والتوافر، وميزانيات وتنبيهات للإنفاق، ونموذج تهديدات يغطي حقن الأوامر وكشف البيانات. الفرق التي تفعل ذلك تطلق أسرع، لأنها تستطيع تغيير النماذج والأوامر بثقة لا بخوف.
- البنية التحتية للذكاء الاصطناعي
- LLM
- الاستدلال
- RAG
- FinOps
