BERTurk

BERTurk, Türkçe metinler üzerinde ön eğitimden geçirilmiş ve BERT (Bidirectional Encoder Representations from Transformers) mimarisine dayanan bir dil modelidir. Model, Stefan Schweter tarafından geliştirilmiş olup Türkçe doğal dil işleme çalışmalarında en çok kullanılan dil modelleri arasında yer almaktadır.^【1】 BERTurk tek başına bir uygulama niteliği taşımamakta; metin sınıflandırma, varlık ismi tanıma ve duygu analizi gibi görevler için uyarlanan bir temel model işlevi görmektedir.

BERT, Google araştırmacıları tarafından geliştirilen ve dönüştürücü (transformer) mimarisine dayanan bir dil modelidir.^【2】 Model, bir kelimeyi yalnızca kendisinden önce gelen kelimelere göre değil, cümlenin her iki yönündeki bağlamı birlikte değerlendirerek temsil etmektedir. Bu yaklaşımla İngilizcede pek çok dil işleme görevinde dönemin en yüksek sonuçları elde edilmiştir.^【3】

Türkçe açısından iki temel güçlük bulunmaktadır. Bunlardan ilki dilin yapısıdır. Türkçe sondan eklemeli bir dil olup “gidemeyeceklerdi” gibi tek bir kelime, İngilizcede bir cümleyle karşılanan anlamı taşıyabilmektedir. Bu zengin biçim bilgisi yapısı, İngilizce için geliştirilen yöntemlerin Türkçeye doğrudan aktarılmasını güçleştirmektedir.^【2】 İkinci güçlük kaynak yetersizliğidir; Türkçe doğal dil işleme için etiketli veri seti ve hazır araç sayısı uzun süre sınırlı kalmıştır.^【4】

BERTurk, Türkçe için geliştirilmiş bir BERT modeli olup Türkçe metinler üzerinde eğitilmiştir.^【5】

BERTurk, yaklaşık 35 GB büyüklüğünde Türkçe metin verisi üzerinde eğitilmiştir. Eğitim verisi; OSCAR derlemi, Vikipedi dökümü ve çeşitli OPUS derlemlerinden oluşturulmuştur. Modelin bir sürümü 128 bin kelime parçasından oluşan bir kelime dağarcığına sahiptir.^【6】

BERTurk’ün kullanımı iki aşamadan oluşmaktadır. Model önce genel dil bilgisi kazanmakta, ardından belirli bir göreve uyarlanmaktadır.

Ön eğitim aşamasında model, etiketlenmemiş metinler üzerinde eğitilmektedir. Bu aşamada cümlelerdeki bazı kelimeler gizlenmekte ve modelden gizlenen kelimeleri çevresindeki bağlama dayanarak tahmin etmesi beklenmektedir.^【7】 Model böylece “yüz” kelimesinin “yüz lira” ve “yüzünü yıkamak” ifadelerindeki farklı anlamlarını bağlamdan ayırt edebilmektedir. Yüksek hesaplama maliyeti nedeniyle ön eğitim bir kez gerçekleştirilmekte ve ortaya çıkan model kullanıma açılmaktadır.

İnce ayar (fine-tuning) aşamasında, belirli bir görev için modelin üzerine bir sınıflandırma katmanı eklenmektedir. Örneğin yorumların olumlu ve olumsuz olarak ayrılması amaçlandığında model, bu göreve ait görece küçük ve etiketli bir veri setiyle kısa süreli olarak yeniden eğitilmektedir.^【8】 Bu yöntem, her yeni görev için modelin sıfırdan eğitilmesi gereğini ortadan kaldırmaktadır.

Türkçe literatürde “duygu analizi” ifadesi iki farklı görevi karşılamak üzere kullanılmaktadır.^【9】 Bunlardan ilki, bir metnin olumlu, olumsuz veya nötr olarak sınıflandırılmasıdır (İngilizce: sentiment analysis). İkincisi ise metinde mutluluk, öfke, korku ya da üzüntü gibi hangi duygunun öne çıktığının belirlenmesidir (İngilizce: emotion recognition). BERTurk, her iki görevde de temel model olarak kullanılmaktadır.

Bu alanda yapılan çalışmalar arasında film ve ürün yorumlarını konu alanlar bulunmaktadır. Beyazperde sitesinden derlenen film yorumları üzerinde yapılan bir çalışmada, ince ayar yapılmış BERTurk modelinden elde edilen temsiller Destek Vektör Makineleri ile birleştirilmiş ve yüzde 98,4 doğruluk oranına ulaşılmıştır.^【10】 Trendyol ürün yorumlarıyla gerçekleştirilen başka bir çalışmada ise BERTurk yüzde 96, geleneksel Destek Vektör Makineleri yöntemi ise yüzde 89 doğruluk oranı elde etmiştir.^【11】

Türkçe duygu tanıma çalışmalarında kullanılan veri setlerinden biri TREMO’dur. Toçoğlu ve Alpkoçak tarafından hazırlanan veri seti, 4.709 kişinin mutluluk, korku, öfke, üzüntü, iğrenme ve şaşkınlık duygularıyla ilişkili anı ve deneyimlerini aktardığı 27.350 kayıttan oluşmaktadır.^【12】

Uçan, Dörterler ve Akçapınar Sezer, çok dilli BERT ve BERTurk modellerini TREMO veri seti üzerinde ince ayar yaparak duygu sınıflandırmasına uyarlamış ve bu modelleri geleneksel makine öğrenmesi ve derin öğrenme yöntemleriyle karşılaştırmıştır.^【13】 Daha yakın tarihli bir çalışmada ise TREMO ile ince ayar yapılan BERTurk modeli altı duygu sınıfında yüzde 92,62 doğruluk oranına ulaşmış ve sosyal medyadaki göçmen karşıtı paylaşımların duygusal yönünün incelenmesinde kullanılmıştır.^【14】

BERTurk yalnızca yazılı metin üzerinde çalışmakta olup sesi doğrudan işleyememektedir. Bu nedenle konuşmadaki duygunun incelenebilmesi için konuşmanın öncelikle yazıya aktarılması gerekmektedir. Ancak yazıya aktarılan metin ses tonu, vurgu ve konuşma hızı gibi bilgileri içermemektedir. Konuşmada olumsuz duygular ve stres üzerine yapılan çalışmaları inceleyen sistematik bir derlemede, öfkenin temel frekansın yükselmesi, ses şiddetinin artması ve konuşma hızının artmasıyla; stresin ise temel frekans ve ses şiddetinin artmasıyla ilişkili olduğu belirlenmiştir.^【15】

BERTurk yalnızca metin verisini işleyebilmekte; ses ve görüntü gibi diğer veri türlerini doğrudan işleyememektedir. BERT tabanlı modellerde tek seferde en fazla 512 parçalık metin işlenebilmekte, daha uzun metinlerin bölünerek modele verilmesi gerekmektedir.^【16】

BERTurk, OSCAR derlemi ve Vikipedi gibi genel kaynaklardan derlenen metinlerle eğitilmiştir. Sosyal medya diline yönelik olarak ise 894 milyondan fazla Türkçe tweet kullanılarak oluşturulan ve BERTurk’e göre daha hafif bir yapıya sahip olan TurkishBERTweet gibi modeller geliştirilmiştir.^【17】