Doğal Dil İşleme

Doğal Dil İşleme (Natural Language Processing - NLP), insanların kullandığı doğal dillerin bilgisayarlar tarafından analiz edilmesi, işlenmesi ve anlamlandırılmasını sağlayan bir yapay zeka (YZ) alt alanıdır. Bu teknoloji, insan-bilgisayar etkileşiminin daha doğal ve verimli olmasını amaçlar. Doğal dilin karmaşıklığı, anlamsal belirsizlikler ve çok anlamlılık gibi zorluklar, doğal dil işleme alanında önemli araştırma konularını oluşturmaktadır.

Doğal Dil İşlemenin Tarihçesi ve Evrimi

Doğal dil işlemenin kökeni, bilgisayar biliminin ve yapay zekanın doğduğu yıllara kadar uzanır. 1950 yılında Alan Turing'in "Computing Machinery and Intelligence" başlıklı makalesi, makinelerin insan gibi düşünüp düşünemeyeceğini sorgulayan Turing Testi kavramını ortaya koymuştur. Bu test, doğal dili kullanarak, bir insan ile makine arasındaki diyaloğun ayrımını yapabilmeyi hedefler.

1950-1960 yılları arasında DDİ, kural tabanlı sistemlere dayanıyordu. Bu sistemler, dilbilgisel kurallar ve söz dizimi analizleriyle cümleleri anlamlandırmaya çalışıyordu. 1954 yılında IBM ve Georgetown Üniversitesi tarafından gerçekleştirilen Georgetown-IBM Deneyi, çok sınırlı bir kelime haznesiyle otomatik çeviri sisteminin prototipini sundu. Bu deneme, o dönemde DDİ'nin potansiyeline dair büyük bir heyecan yarattı.

Ancak 1960'ların sonu ve 1970'ler, "Yapay Zeka Kışı" olarak adlandırılan bir dönemi başlattı. Bu dönemde DDİ sistemlerinin yetersizliği ve beklentileri karşılayamaması nedeniyle akademik ve mali destek azaldı. 1980'lerde ise bilgi temsili, anlambilim ve pragmatik analizlerin ön plana çıktığı yeni yaklaşımlar geliştirildi.

1990'lardan itibaren istatistiksel doğal dil işleme yaklaşımları öne çıkmaya başladı. Bu dönemde özellikle Hidden Markov Models (HMM), Naive Bayes ve karar ağaçları gibi modellerin kullanımı yaygınlaştı. Bu istatistiksel yöntemler, veriden öğrenme kapasitesi ile dil işlemede dâha esnek çözümler sunmaya başladı.

2010'lardan itibaren ise derin öğrenme tabanlı yaklaşımlar DDİ alanında etki yarattı. Özellikle Google tarafından geliştirilen Transformer mimarisi ve bu mimariye dayanan BERT, GPT gibi modeller, DDİ uygulamalarında bir yükselme yaşattı. Bu modeller, bağlamsal anlamı kavrayabilen, söz dizimi ve anlamsal analizleri birlikte yapabilen ileri seviye sistemlerin önünü açtı.

Bugün DDİ, hem akademide hem de endüstride çeşitli alanlarda aktif olarak kullanılmakta; insan-bilgisayar etkileşimi, bilgi erişimi, metin üzerinden karar verme gibi alanlarda merkezî bir rol oynamaktadır.

Doğal Dil İşlemenin Temel Bileşenleri

DDİ sistemlerinin başarılı bir şekilde çalışabilmesi için çeşitli katmanlarda analiz yapması gerekir. Bu analiz katmanları, doğal dilin yapısal ve anlamsal karmaşıklığını bilgisayarlara aktarılabilir hale getirmeyi amaçlar:

• Morfolojik Analiz: Kelimeler, bir kök ve ona eklenen eklerden oluşur. Morfolojik analizde, kelimenin yapısı çözülerek hangi kökten türetildiği ve hangi eklerin eklendiği belirlenir. Örneğin, "kitaplarımdan" kelimesi "kitap" (kök), "lar" (çoğul), "ım" (iyelik), "dan" (ayrılma hali eki) biçiminde ayrıştırılır.
• Sentaktik (Sözdizimsel) Analiz: Cümledeki kelimelerin birbirleriyle olan yapısal ilişkilerini inceleyen analizdir. Örneğin, özne, yüklem, tümleç gibi unsurların tespiti ve hangi kelimenin hangisiyle bağlı olduğunun belirlenmesi bu katmanda yapılır. Bu analiz, ağaç yapısı (parse tree) ile temsil edilir.
• Semantik (Anlamsal) Analiz: Cümle veya kelime düzeyinde anlam çıkarma işlemi gerçekleştirilir. Kelimenin sözülk anlamından öte, bağlam içindeki anlamını da anlamaya yönelik analizler yapılır. Örneğin, "elma" kelimesinin bir meyve mi yoksa bir teknoloji şirketi mi olduğu bağlamdan anlaşılabilir.
• Pragmatik ve Bağlamsal Analiz: Konuşmanın ya da yazının hangi bağlamda (kim tarafından, kime, hangi niyetle) söylendiğini anlamaya yönelik analizdir. "Bugün hava nasıl?" gibi bir cümledeki niyetin bilgi isteme olduğu bu analizle belirlenir. Aynı zamanda zamirlerin hangi varlığa işaret ettiği (co-reference resolution) gibi meseleler de bu katmanda ele alınır.

Bu analizlerin her biri, bilgisayarın dili daha iyi anlaması için birbirini tamamlayacak şekilde çalışır. Özellikle derin öğrenme yaklaşımları, bu analizlerin çoğunu aynı anda öğrenebilir hale getirmiştir.

Temel Doğal Dil İşleme Kavramları

• Vocabulary (Sözlük): Bir metinde veya konuşmada kullanılan terimler.
• Corpus (Derlem): Film incelemesi, sosyal medya gönderileri gibi benzer türde bulunan metin koleksiyonları.
• Preprocessing (Önişleme): Metin içerisinden istenmeyen metin, terim ve gürültüleri temizlemek için uygulanan adımlar. Herhangi bir DDİ probleminin çözümü için ilk adımıdır.
• Tokenization: Büyük bir metnin küçük parçalara ayrılmasıdır. Her bir küçük parçaya "token" denir. Ayrılan her küçük parça da bir metindir ve anlamlı bilgi içerir.
• Embeddings (Gömmeler): Her token'ın makine öğrenmesi modeline verilmeden önce bir vektör haline getirilmesi işlemidir. Gömmeler, kelimeler, kelime öbekleri veya karakterler üzerinde oluşturulabilir.
• N-Grams: Bir metnin, n'er tane kelime veya karakterden oluşan tokenlere ayrıştırılmış halidir.
• Transformers: Paralel hesaplama yapabilen derin öğrenme mimarileridir. Metinlerdeki uzun vadeli bağımlılıkları öğrenmeye yarar.
• Parts of Speech (POS): Kelimelerin cümledeki işlevleridir. (İsim, fiil vb.)
• Parts of Speech Tagging: Kelimelerin isim, fiil gibi etiketlerini belirleme işlemidir.
• Stop Words: Metine anlamsal olarak katkısı olmayan, bağlaç gibi kelimelerin belirlenerek çıkarılması işlemidir.
• Normalization: Benzer terimleri kanonik forma eşleme sürecidir.
• Lemmatization: Kelimenin temel formunun belirlenmesi.
• Stemming: Lemmatization gibi kelimelerin temel formunu belirlemeyi amaçlar. Ancak Lemmatization'daki gibi kelimeleri POS taglarına ayırmadan bu işlemi yapar.
• Özellik Çıkarımı: Yapılmakta olan işleme yönelik anahtar kelime veya ifadelerin belirlenmesi süreci. Böylece belirli bir kelime veya kelime öbeklerinin sınıflandırılması da sağlanır.

Doğal Dil İşlemede Kullanılan Yöntemler

Doğal dil işleme alanında kullanılan yöntemler, zaman içinde evrilerek çeşitlenmiştir. Bu yöntemler temel olarak dört ana grupta incelenebilir:

Her yöntemin avantaj ve sınırları vardır. Kural tabanlı sistemler şeffaf ve denetlenebilirken, derin öğrenme modelleri daha kapsamlı ancak "kara kutu" yapısına sahiptir. Uygulamanın ihtiyacına göre bu yöntemler birleştirilerek hibrit sistemler de kurulabilir.

Doğal Dil İşlemenin Uygulama Alanları

Doğal Dil İşleme teknolojileri, sadece akademik bir alan olmaktan çıkmış, günlük yaşamın, ticaretin, eğitimin ve kamu hizmetlerinin bir parçası haline gelmiştir. Aşağıda, DDİ'nin yaygın olarak kullanıldığı başlıca uygulama alanları detaylı olarak açıklanmıştır:

1. Makine Tercümesi (MT): En bilinen uygulamalardan biridir. Google Translate, DeepL ve Microsoft Translator gibi sistemler; istatistiksel, kural tabanlı ya da sinir ağı tabanlı yaklaşımlarla çalışır. Güncel yaklaşımlarda, Transformer mimarisi kullanılarak bağlama duyarlı, daha doğru çeviriler yapılabilmektedir.
2. Sesli Asistanlar ve Konuşma Tanıma: Siri, Alexa, Google Asistan gibi sistemler, kullanıcının söylediği cümleleri algılar, metne döker ve bu metni anlamlandırıp yanıt verir. Bu sistemlerde hem ses tanıma hem de doğal dil anlama modülleri bulunur.
3. Metin Madenciliği ve Bilgi Çıkarımı: Bilimsel makaleler, haber arşivleri ya da sosyal medya gibi büyük metin yığınlarından anlamlı ve yapılandırılmış bilgi elde edilmesini sağlar. Örneğin, bir hastalıkla ilgili tıbbi literatür taramasında otomatik bilgi çıkarma sistemleri kullanılabilir.
4. Duygu Analizi (Sentiment Analysis): Özellikle sosyal medya yorumlarının ya da müşteri geri bildirimlerinin olumlu, olumsuz veya tarafsız olarak analiz edilmesini sağlar. Bu, firmalar için marka algısını yönetmede kritik bir rol oynar.
5. Otomatik Metin Özetleme: Haber, makale veya rapor gibi uzun metinlerin otomatik olarak anlamlı bir şekilde özetlenmesi için kullanılır. Ekstraktif ve abstraktif olmak üzere iki türde özetleme yapılabilir. Özellikle haber ajansları ve akademik dergiler için faydalıdır.
6. Sohbet Botları ve Diyalog Sistemleri: E-ticaret sitelerinde, bankalarda ya da kamu hizmetlerinde karşılaştığımız chatbot'lar kullanıcı sorularını anlayarak otomatik yanıt verir. Gelişmiş modeller, bağlam takibi yaparak daha doğrusal diyaloğ kurabilir.
7. Adlı ve Hukuki Metin Analizi: Mahkeme kararlarının analiz edilmesi, içtihat çıkarımı ve hukuki belgelerin sınıflandırılması gibi alanlarda DDİ tekniklerinden faydalanılır.
8. Eğitim Teknolojileri: Dil öğrenme uygulamalarında otomatik geri bildirim, söz dağarcık takibi, okuduğunu anlama testleri gibi öğeler DDİ tabanlı sistemlerle gerçekleştirilebilir.

Bu uygulama alanları, teknolojinin ve modellerin gelişmesiyle her geçen yıl daha da genişlemektedir. Yakın gelecekte daha kapsamlı dil anlama sistemleriyle hukuk, psikoloji ve yaratıcı yazarlık gibi alanlarda da çok daha etkin uygulamalar beklenmektedir.

Doğal Dil İşlemede Karşılaşılan Zorluklar

Doğal dilin bilgisayar tarafından işlenmesi, görünüşte basit gibi algılanabilir; ancak dilin yapısı, anlamı ve kullanımı karmaşıktır. Bu da DDİ uygulamalarında bazı zorlukları beraberinde getirir:

• Anlamsal Belirsizlik: Aynı kelimenin farklı anlamlara gelebilmesi ("banka" kelimesi hem finans kurumu hem de nehir kenarı anlamında kullanılabilir) dil işlemede çözülmesi gereken önemli bir sorundur.
• Sözdizimsel İki Anlamlılık: Cümle yapısından kaynaklı belirsizlikler de yaygındır. "Kadın adamı gördü" gibi bir cümlede, kim kime ne yaptı sorusu bağlama göre farklı yorumlanabilir.
• Söylem Bağlamı: Cümleler tek başına anlamlı olabilir, ancak bir metin ya da diyaloğun parçası olarak anlam kazanır. Zamir çözümü ("o", "onlar" gibi) bu bağlamda önemlidir.
• Dilin Evrensel Olmayışı: Her dilin yapısal farklılıkları vardır. Türkçe gibi sondan eklemeli dillerde, morfolojik analiz daha karmaşıktır. Bu durum, dil özelinde sistemlerin yeniden tasarlanmasını gerektirir.
• Veri Temini ve Etiketleme: DDİ sistemlerinin doğru çalışabilmesi için çok miktarda, çeşitli ve etiketlenmiş veriye ihtiyacı vardır. Bu verilerin hazırlanması hem zaman alıcı hem de maliyetlidir.
• Konulararası Bağlamlar: Bazı cümleler yalnızca ilgili uzmanlık alanını bilerek anlaşılabilir. Örneğin, tıbbı veya hukuk metinleri özel bilgi gerektirir.

Bu zorluklara rağmen gelişmiş modelleme teknikleri, ön-eğitimli dil modelleri ve zenginleştirilmiş veri kültürü sayesinde bu sorunlar aşağı çekilebilmekte ve daha başarılı sistemler geliştirilmektedir.

Popüler DDİ Kütüphaneleri ve Araçlar

DDİ alanındaki hızlı gelişimin arkasında, açık kaynak kütüphaneler ve geliştirici dostu platformlar yatmaktadır. Bu araçlar, hem akademik çalışmalarda hem de endüstriyel uygulamalarda yaygın olarak kullanılmaktadır:

• NLTK (Natural Language Toolkit): Özellikle öğrenci ve akademisyenler için uygun, Python tabanlı bir kütüphanedir. Tokenization, stemming, tagging gibi temel DDİ işlemleri için ideal bir ortam sağlar.
• spaCy: Performans ve ölçeklenebilirlik odaklı bir Python kütüphanesidir. Named entity recognition (NER), sözdizimsel analiz ve bağlam odaklı uygulamalarda başarılıdır. Endüstriyel uygulamalar için önerilir.
• Stanford CoreNLP: Stanford Üniversitesi tarafından geliştirilen bu kütüphane, Java tabanlı olup çok dilli desteği ve ileri düzey anlamsal analiz kabiliyetleri ile öne çıkar.
• Hugging Face Transformers: BERT, GPT, RoBERTa, T5 gibi ön-eğitimli modellerin kullanımını kolaylaştıran çok kapsamılı bir kütüphanedir. Fine-tuning işlemleri ve model dağıtımı için de uygun altyapıya sahiptir.
• OpenNLP ve Flair: Alternatif olarak kullanılabilecek, daha çok çoklu dil desteği ve bellek kullanımı avantajları ile öne çıkan kütüphanelerdir.

Bu kütüphaneler sayesinde geliştiriciler, sıfırdan model eğitmek yerine önceden eğitilmiş modellerle hızlı uygulamalar geliştirebilir. Özellikle transfer öğrenme ve ince ayar teknikleri ile çok daha özgün uygulamalar elde edilebilmektedir.

Doğal Dil İşleme Uygulaması

Basit bir metin verisi üzerinde sırasıyla uygulanan işlemler:

• Regular Expression (regex) ile temizleme
• Tokenization
• Stopwords (gereksiz kelimeler) temizleme
• Lemmatization (kelime köküne indirgeme)
• Bag of Words (kelime torbası) oluşturma
• Makine Öğrenmesi modeliyle sınıflandırma

Türkçe metin parçası:

Kod:

Çıktı:

Orijinal Metin: Bugün hava çok güzel, güneş parlıyor ve kuşlar ötüyor. Dün ise yağmur yağdı ve hava soğuktu.

1. Temizlenmiş Metin: bugün hava çok güzel güneş parlıyor ve kuşlar ötüyor dün ise yağmur yağdı ve hava soğuktu

2. Tokenlar: ['bugün', 'hava', 'çok', 'güzel', 'güneş', 'parlıyor', 've', 'kuşlar', 'ötüyor', 'dün', 'ise', 'yağmur', 'yağdı', 've', 'hava', 'soğuktu']

3. Stopwords Kaldırılmış: ['bugün', 'hava', 'güzel', 'güneş', 'parlıyor', 'kuşlar', 'ötüyor', 'dün', 'yağmur', 'yağdı', 'hava', 'soğuktu']

4. Lemmatize Edilmiş: ['bugün', 'hava', 'güzel', 'güneş', 'parlıyor', 'kuşlar', 'ötüyor', 'dün', 'yağmur', 'yağdı', 'hava', 'soğuktu']

5. Bag of Words Matrisi:

 [[1 1 1 1 1 1 1 1 1 1 1 1]]

Kelimeler: ['bugün' 'dün' 'güzel' 'güneş' 'hava' 'kuşlar' 'ötüyor' 'parlıyor' 'soğuktu' 'yağdı' 'yağmur']

6. Makine Öğrenmesi Modeli Eğitildi.

Örnek Tahmin: Test Metni: 'hava güzel' -> Tahmin: pozitif