احجز استشارتك

Quantization

التكميم

يُكتب أيضاً: Q4_K_M, تكميم النماذج

ضغط أرقام النموذج إلى دقة أقل، مثل 4 بت، لتقليل الذاكرة المطلوبة لتشغيله، مقابل تراجع بسيط في جودة الإجابات.

معنى Quantization بالعربي: التكميم، أي تقليل دقة الأرقام التي تتكوّن منها أوزان النموذج، من 16 بت مثلًا إلى 8 أو 4 بت، فيصغر حجمه وتقل الذاكرة التي يحتاجها.

Quantization in Arabic: التكميم — reducing the precision of a model’s weights so it needs less memory.

نموذج بحجم 8 مليارات معامل يحتاج نحو 16 جيجابايت بدقة 16 بت، وحوالي 5 جيجابايت بعد تكميمه إلى 4 بت، فيصبح ممكنًا تشغيله على لابتوب عادي أو سيرفر VPS متوسط.

الثمن انخفاض في الجودة يزيد كلما نزلت الدقة. لهذا تُسمى الملفات بمستويات مثل Q4_K_M وQ5_K_M وQ8_0، واختيارك بينها يعتمد على الذاكرة المتاحة ونوع المهمة.

مقالات بتستخدم المصطلح