نوآوری syftr در بهینه‌سازی سامانه‌های هوش مصنوعی مولد

به گزارش پردیس هوش مصنوعی و نوآوری دیجیتال ایران، پژوهشگران در مقاله‌ای جدید با عنوان «syftr: Pareto-Optimal Generative AI» که در arXiv منتشر شده است، از چارچوبی نوآورانه به نام syftr رونمایی کرده‌اند. این چارچوب پاسخی حیاتی به چالش‌های فزاینده در ساخت و بهینه‌سازی سامانه‌های هوش مصنوعی برای تولید پاسخ‌های آگاهانه با استفاده از منابع خارجی (RAG) برای مدل‌های زبان بزرگ (LLM) معرفی شده است.

ساخت چنین سامانه‌هایی، نیازمند انتخاب دقیق و تنظیم اجزای چون پایگاه‌های داده وکتور، مدل‌های جاسازی، تقسیم‌کننده‌های متن، بازیافت‌کننده‌ها و LLMهای سنتزکننده است. با ظهور پارادایم‌های عاملی (agentic) و ماژول‌هایی نظیر تأییدکننده‌ها، بازنویسان و رتبه‌بندی‌کننده‌ها، پیچیدگی این فرآیند دوچندان شده است. مدیریت بین زمان پاسخ دهی، دقت و هزینه به یک چالش جدی تبدیل شده بود.

راه‌حل syftr

syftr یک چارچوب قدرتمند است که جستجوی چندهدفه‌ای را روی طیف وسیعی از پیکربندی‌های عاملی و غیرعاملی سامانه‌های هوش مصنوعی (RAG) انجام می‌دهد. این چارچوب با بهره‌گیری از بهینه‌سازی بیزی (Bayesian Optimization)، خطوط جریان بهینه پارتو را کشف می‌کند که به‌طور همزمان دقت و هزینه وظایف را بهینه می‌سازد. علاوه بر این، یک مکانیسم نوین توقف زودهنگام (early-stopping)، با هرس کردن کاندیداهای به‌وضوح ناکارآمد، کارایی را به‌طور قابل توجهی افزایش می‌دهد.

بر اساس نتایج حاصل از چندین بنچمارک، سامانه‌های هوش مصنوعی (RAG) با استفاده از چارچوب syftr موفق به شناسایی خطوط جریانی شده‌اند که به‌طور متوسط حدود ۹ برابر ارزان‌تر از گزینه‌های دیگر هستند، در حالی که دقت، دقیق‌ترین جریان‌ها در مرز پارتو حفظ می‌شود. 

به عنوان مثال، در یک مطالعه‌ روی تأثیر اندازه LLM بر جریان‌های موسیقی CRAG (نوعی از این سامانه‌های هوش مصنوعی)، دقت به‌طور متوسط ۱۷.۳ درصد افزایش یافته، در حالی که هزینه تنها ۶۷ برابر شده است.

به طور خاص، در یکی از موارد Critique RAG Agent (نوعی از عامل این سامانه‌ها)، syftr توانسته است دقت را از ۵۰.۰% به ۹۰.۶% (افزایش ۴۰.۶ درصدی) با ضریب هزینه ۲۵۳.۶ برابر بهبود بخشد.

اهمیت و کاربرد

قابلیت syftr در طراحی و بهینه‌سازی، امکان ادغام ماژول‌های جدید را نیز فراهم می‌کند. این پیشرفت می‌تواند تأثیر عمیقی بر توسعه و استقرار سامانه‌های هوش مصنوعی برای تولید پاسخ‌های آگاهانه با استفاده از اطلاعات خارجی داشته باشد و به سازمان‌ها کمک کند تا به‌طور کارآمدتر و مقرون‌به‌صرفه‌تری از مدل‌های زبانی بزرگ بر روی داده‌های اختصاصی و پویا بهره‌برداری کنند.