Türkçe soru cevaplama için büyük dil modelleri üzerinde geniş ölçekli etki analizi

OpenAlex Turkish

Son zamanlarda, büyük dil modelleri (LLM) birçok doğal dil işleme görevinde oldukça popüler hale gelmiştir. Türkçe gibi düşük seviyeli dillerde LLM'ler üzerine daha az çalışma vardır. Bu nedenle, Türkçe soru-cevap görevi için BERT, ALBERT, DistilBERT, mDeBERTa ve mT5 LLM'lerinin başarısı analiz edilmiştir. Karşılaştırma SQuAD veri setinin Türkçe versiyonu veri seti olarak kullanılmıştır. Bu LLM'lerin ince ayar yapılarak eğitilmesi sonucunda, mDeBERTa %74.50 doğruluk ile en başarılı model olmuştur. Ayrıca, bu modellerin cevap olasılığına eşik değerinin etkisi ve LLM'lerin tahmin edilen ve gerçekleşen cevapları arasındaki anlamsal benzerlik incelenmiştir. Eşik değerinin etkisi analiz edildiğinde, LLM'lerin doğruluk değerinde %0.13'e kadar bir doğruluk artışı gözlenmiştir. Anlamsal benzerliğin LLM'ler üzerindeki etkisi analiz edildiğinde ise doğruluk değerinin %0.7 ile %6.59 arasında arttığı ve en başarılı modelin %79.09 ile mDeBERTa olduğu gösterilmiştir. Sonuç olarak, LLM'ler için eşik değeri ve anlamsal benzerliğin analiz edilmesinin olumlu bir etkiye sahip olduğunu göstermektedir.