Inference

معنى Inference بالعربي: الاستدلال. في الذكاء الاصطناعي هو مرحلة تشغيل النموذج المدرَّب ليعطي نتيجة: كل مرة ترسل سؤالًا ويصلك رد فقد جرت عملية استدلال.

Inference in Arabic: الاستدلال.

الفرق بين التدريب والاستدلال

التدريب يحدث مرة ويستغرق أسابيع على آلاف المعالجات لتعليم النموذج. الاستدلال يحدث مع كل طلب ويستغرق ثوانيَ، ولا يتغير فيه النموذج. التدريب تكلفة على الشركة المطوّرة، والاستدلال هو ما تدفع أنت مقابله.

أين يجري

على خوادم المزوّد عبر API، وهو الأشيع. أو على جهازك أو خادمك بنماذج مفتوحة، وهذا يحفظ خصوصية البيانات لكنه يحتاج إلى معالج رسوميات قوي، وعلى الخوادم الصغيرة يكون بطيئًا لدرجة غير عملية.

ما يؤثر في سرعته وتكلفته

حجم النموذج، وعدد التوكنات الداخلة والخارجة. نموذج صغير سريع يكفي للتصنيف والتلخيص القصير، والنموذج الكبير يُترك للمهام التي تحتاج تفكيرًا. اختيار النموذج المناسب لكل مهمة أهم وسيلة لضبط الفاتورة.

مصطلحات مرتبطة: LLM، Token، Training Data، API Key