چالش‌ها و راهکارهای پردازش زبان طبیعی فارسی در مدل‌های زبانی بزرگ

زبان فارسی با ساختار ترکیبی غنی، انواع حروف ناپیوسته، تنوع فونت‌ها و مسئله نیم‌فاصله (Zero-Width Non-Joiner)، نیازمند پیش‌پردازش‌های تخصصی در توکنایزر مدل‌های زبانی است.

چرا توکنایزرهای عمومی کارایی مناسبی روی زبان فارسی ندارند؟

بسیاری از مدل‌های زبانی آموزش‌دیده بر وب انگلیسی، یک کلمه ۵ حرفی فارسی را به ۵ یا ۶ توکن بایت مجزا تفکیک می‌کنند. این امر باعث ۳ الی ۴ برابر شدن هزینه API و کاهش پنجره زمینه متنی مفید مدل می‌شود.

راه‌حل: ادغام توکنایزر اختصاصی و پیش‌آموزش با دیتاست‌های باکیفیت

با افزودن ۳۲ هزار توکن اختصاصی واژگان و ترکیب‌های فارسی به واژگان پایه مدل (Vocabulary Expansion)، سرعت پردازش تا ۲۸۰٪ افزایش و مصرف توکن بهینه می‌گردد.