Destek Vektör Makineleri

Destek Vektör Makineleri (Support Vector Machines-SVM), denetimli öğrenme (supervised learning) yöntemlerinden biridir ve hem sınıflandırma (classification) hem de regresyon (regression) problemlerinde kullanılır. SVM, özellikle yüksek boyutlu veri setlerinde etkili bir şekilde çalışabilen güçlü bir makine öğrenmesi algoritmasıdır. Temel amacı, veriyi sınıflandırmak veya ayırmak için optimal bir hiperdüzlem (optimal hyperplane) bulmaktır.

Tanımı

Destek vektör makineleri literatürde, hem sınıflandırma hem de regresyon analizinde kullanılmasına rağmen genel olarak sınıflandırma işlemlerinde daha çok tercih edilen bir makine öğrenme yöntemidir. Bu yöntem denetimli bir öğrenme modeline dayanmaktadır. Algoritmanın çalışması esnasında verilerin türüne bağlı olarak çekirdek fonksiyonlarda kullanılabilmektedir. Bu sayede hem doğrusal hem de doğrusal olmayan sınıflandırma işlemlerini gerçekleştirilebilmektedir. Eğer sınıflandırma işleminde, tam ayrıştırılabilir veriler kullanılırsa genellikle tüm veriler bir hiper düzlem ile sınıflandırılabilmektedir. Fakat, eğer tam ayrıştırılamayan veriler kullanılırsa, çoğunlukla aynı boyutta tek bir düzlem ile sınıflandırılamamaktadır. Bu nedenle de farklı çekirdek fonksiyonları kullanılmaktadır.

Çalışma Mantığı

SVM'nin çalışma mantığı şu adımlara dayanır:

1- Veri Dönüşümü:

• SVM, veriyi daha yüksek boyutlu bir uzaya dönüştürür (örneğin, kernel fonksiyonları kullanarak). Bu, doğrusal olarak ayrılamayan verilerin doğrusal olarak ayrılabilir hale gelmesini sağlar.

2- Hiperdüzlem Bulma:

• SVM, iki sınıf arasında en geniş marjine sahip olan hiperdüzlemi bulur. Bu hiperdüzlem, sınıfları en iyi şekilde ayıran sınırdır.

3- Destek Vektörleri:

• Hiperdüzleme en yakın olan veri noktalarına destek vektörleri denir. Bu noktalar, modelin karar sınırını belirler.

4- Kernel Trick (Çekirdek Hilesi):

• Doğrusal olarak ayrılamayan veriler için, SVM kernel fonksiyonları kullanır. Yaygın kernel fonksiyonları şunlardır:

• Doğrusal Kernel: K(x,y)=xTy
• Polinom Kernel: K(x,y)=(xTy+c)d
• Radyal Tabanlı Fonksiyon (RBF) Kernel: K(x,y)=exp⁡(−γ∥x−y∥2)
• Sigmoid Kernel: K(x,y)=tanh⁡(αxTy+c)

5- Optimizasyon:

• SVM, bir ikinci dereceden programlama (quadratic programming) problemi çözerek hiperdüzlemi bulur. Bu, sınıflar arasındaki marjini maksimize ederken sınıflandırma hatasını minimize eder.

Kullanım Alanları

• Metin Sınıflandırması: Spam e-posta tespiti, duygu analizi ve belge kategorizasyonu gibi problemlerde kullanılır.
• Görüntü Sınıflandırması: Nesne tanıma, yüz tanıma ve tıbbi görüntü analizi gibi alanlarda etkilidir.
• Biyoinformatik: Protein yapısı tahmini, gen ekspresyonu analizi ve hastalık teşhisi gibi problemlerde kullanılır.
• Finansal Tahminler: Hisse senedi fiyat tahmini, kredi skorlama ve risk analizi gibi alanlarda kullanılır.
• El Yazısı Tanıma: Posta kodlarının tanınması veya el yazısı karakterlerin sınıflandırılması gibi uygulamalarda kullanılır.

Destek Vektör Makinelerinin iki boyutta temsili gösterimi

Destek Vektör Makinesi Algoritması Kullanılarak Iris Veri Seti Üzerinde Uygulama Örneği

Veri setinde bulunan özelliklerden Sepal Uzunluk ve Sepal Genişlik türleri üzerinden türler arasındaki korelasyonları gözlemlemek için özelliklerin dağımı incelenir.

Özelliklerin grafik üzerinde görselleştirilmesi:

Aynı şekilde, veri setinde bulunan özelliklerden Petal Uzunluk ve Petal Genişlik dağılımı incelenir.

Özelliklerin grafik üzerinde dağılımı:

Çiçeğin ait olduğu sınıfın türünü tahmin etmek için ilk iki özelliği (Sepal Uzunluk ve Sepal Genişlik) kullanarak br SVM modeli oluşturulur.

Oluşturulan yapı için lineer ve lineer olmayan modellemeler üzerinden çekirdek işlemleri gerçekleştirilir.

Sınıflandırma modelleri görselleştirildiğinde aşağıdaki grafikler elde edilir.

Farklı Gama (γ) değerleri (0.1, 1, 10, 100) üzerinden çeşitli çekirdekleri gözlemleyerek hiperparametre ayarı oluşturulur.

Elde edilen grafiklerde gama değeri arttıkça model uyumunda artış gözlemlenmektedir.

Avantaj ve Dezavantajları

• Düşük ölçekli-kapasiteli veri kümeleri için çok hızlı ve doğruluk oranı yüksek bir yöntemdir.
• Büyük veri kümelerinde eğitim verisi üzerindeki işleme süresi yüksek olduğundan sonuç çıktısı uzun sürmektedir.
• Doğrusal ve Doğrusal Olmayan veri kümeleri için uygulanabilir.
• İç-içe veri kümelerinde düşük oranda etkili ve hassas olduğundan doğruluk oranları düşüktür.
• Yüksek boyutlu veri kümelerinde sonuç odaklı olarak etkili bir çözümdür.
• Düşük bir iyileştirme-bakım (Gama/C) ile yüksek doğruluk değerlerine ulaşılabilir. 
• Çekirdekleme (Kernel Trick) işlemlerinde yüksek ölçüde zaman kaybı oluşturmaktadır.