تدريب النماذج نفسها: pipelines للـpretraining والـpost-training، distributed training، الـSFT والـpreference optimization، تجهيز الـdatasets، وبناء evaluation pipelines.
هذا النوع من الأدوار أقرب للبحث منه للـindustry، وغالباً يحتاج معرفة بحثية: قراءة papers، تصميم تجارب، وتحليل نتائج. وأغلبه موجود في المختبرات والشركات الكبيرة ومراكز البحث.
وين تحتاجها
الشركات اللي تبني نماذجها، الجهات اللي تبني نماذج عربية أو سيادية (مثل ALLaM)، المراكز البحثية والجامعات، وأي جهة تحتاج تكيّف نموذج على لهجة أو مجال معين (طبي، قانوني، مالي).
مواضيع للبحث
- Transformer architectures
- pretraining
- distributed training
- fine-tuning
- preference optimization
- RLHF
- SFT
- post-training