Karışıklık Matrisi

Makine öğrenimi modelleri, verileri farklı kategorilere sınıflandırmak için çeşitli uygulamalarda giderek daha fazla kullanılıyor. Ancak, bu modellerin performansını değerlendirmek, doğruluklarını ve güvenilirliklerini sağlamak için önemlidir. Bu değerlendirme sürecindeki temel araçlardan biri de karışıklık matrisidir. 

Karışıklık matrisi, bir sınıflandırma modelinin tahminlerini gerçek sonuçlarla karşılaştırarak ne kadar iyi performans gösterdiğini gösteren basit bir tablodur. Tahminleri dört kategoriye ayırır: her iki sınıf için doğru tahminler (gerçek pozitifler ve gerçek negatifler) ve yanlış tahminler (yanlış pozitifler ve yanlış negatifler).

Matris, modelin test verileri üzerinde ürettiği örnek sayısını gösterir.

• Gerçek Pozitif (TP): Model, pozitif bir sonucu doğru bir şekilde tahmin eder. (Gerçek sonuç pozitif).
• Gerçek Negatif (TN): Model, olumsuz bir sonucu doğru bir şekilde tahmin eder. (Gerçek sonuç olumsuz).
• Yanlış Pozitif (FP): Model yanlış bir şekilde pozitif bir sonucu tahmin eder (Gerçek sonuç negatif). Ayrıca Tip I hatası olarak da bilinir.
• Yanlış Negatif (FN): Model yanlış bir şekilde negatif bir sonucu tahmin eder (Gerçek sonuç pozitif). Ayrıca Tip II hatası olarak da bilinir.

Bir karışıklık matrisi, doğru ve yanlış tahminleri göstererek bir modelin ne kadar iyi çalıştığını görmenize yardımcı olur. Ayrıca, özellikle veriler dengesiz olduğunda performans hakkında daha iyi bir fikir veren doğruluk , kesinlik ve geri çağırma gibi temel ölçümleri hesaplamaya yardımcı olur.

Karmaşıklık Matrisi Verilerine Dayalı Metrikler

1- Doğruluk (Accuracy)

Doğruluk , modelin tahminlerinin genel olarak ne sıklıkla doğru olduğunu ölçer. Modelin ne kadar iyi performans gösterdiğine dair genel bir fikir verir. Ancak doğruluk yanıltıcı olabilir, özellikle bir sınıfın baskın olduğu dengesiz veri kümelerinde. Örneğin, çoğunluk sınıfını çoğu zaman doğru tahmin eden bir model yüksek doğruluğa sahip olabilir ancak yine de diğer sınıflar hakkında önemli ayrıntıları yakalamada başarısız olabilir.

2- Kesinlik (Precision)

Kesinlik, modelin pozitif tahminlerinin kalitesine odaklanır. Pozitif olarak tahmin edilen örneklerin kaçının gerçekten pozitif olduğunu söyler. Kesinlik, spam e-postaları veya dolandırıcılığı tespit etmek gibi yanlış pozitiflerin en aza indirilmesi gereken durumlarda önemlidir.

3- Duyarlılık (Recall)

Duyarlılık, modelin tüm gerçek pozitif vakaları ne kadar iyi tanımladığını ölçer. Tüm gerçek pozitif örneklerden tespit edilen gerçek pozitiflerin oranını gösterir. Yüksek hatırlama, tıbbi teşhislerde olduğu gibi, pozitif vakaları kaçırmanın önemli sonuçları olduğunda önemlidir.

4- F1 Puanı

F1 puanı, dengeyi sağlamak için kesinlik ve geri çağırmayı tek bir metrikte birleştirir. Özellikle dengesiz veri kümeleri için bir modelin genel performansı hakkında daha iyi bir fikir verir. F1 puanı, hem yanlış pozitifler hem de yanlış negatifler önemli olduğunda faydalıdır, ancak kesinlik ve geri çağırmanın eşit derecede önemli olduğunu varsayar ve bu her zaman kullanım durumuyla uyuşmayabilir.

5- Belirlilik (Specitify)

Belirlilik, özellikle ikili sınıflandırmada sınıflandırma modellerinin değerlendirilmesinde bir diğer önemli ölçüttür. Bir modelin negatif örnekleri doğru bir şekilde tanımlama yeteneğini ölçer. Belirlilik, Gerçek Negatif Oran olarak da bilinir. Formül şu şekilde verilir:

6- Tip 1 ve Tip 2 hatası

• Tip 1 Hatası: Bir Tip 1 Hatası, modelin pozitif bir örneği yanlış tahmin etmesi ancak gerçek örneğin negatif olması durumunda oluşur. Bu aynı zamanda yanlış pozitif olarak da bilinir . Tip 1 Hataları , pozitif tahminlerin doğruluğunu ölçen bir modelin hassasiyetini etkiler.
• Tip 2 Hatası: Bir Tip 2 Hatası, modelin aslında pozitif olmasına rağmen pozitif bir örneği tahmin edememesi durumunda oluşur. Bu aynı zamanda yanlış negatif olarak da bilinir. Tip 2 Hataları , modelin tüm gerçek pozitif vakaları ne kadar iyi tanımladığını ölçen bir modelin geri çağrılmasını etkiler .

İkili sınıflandırma için Karmaşıklık Matrisi

Aşağıda, Köpek görüntüsü veya Köpek olmayan görüntüye sahip görüntü tanıma için 2X2'lik bir Karışıklık matrisi gösterilmektedir:

• Gerçek Pozitif (TP): Hem tahmin edilen hem de gerçek değerlere sahip toplam sayımlardır.
• Gerçek Negatif (TN): Hem tahmin edilen hem de gerçek değerlere sahip olan toplam sayımların Köpek Değil olmasıdır.
• Yanlış Pozitif (FP): Tahmini Köpek olan ancak gerçekte Köpek Olmayan toplam sayımdır.
• Yanlış Negatif (FN): Tahmini Köpek Değil olan ancak gerçekte Köpek olan toplam sayımlardır.

Örnek: Sayılarla Köpek Görüntü Tanıma için Karmaşıklık Matrisi

• Gerçek Köpek Sayısı = 6 
• Gerçek Köpek Sayımı Değil = 4
• Gerçek Pozitif Sayılar = 5
• Yanlış Pozitif Sayım = 1
• Gerçek Negatif Sayılar = 3
• Yanlış Negatif Sayımları = 1

Python kullanarak İkili sınıflandırma için Karışıklık Matrisinin Uygulanması

1.Adım: Gerekli kütüphaneler dahil edilir.

2.Adım: Gerçek ve tahmin edilen etiketler için NumPy dizisi oluşturulur.

3.Adım: Karışıklık matrisini hesaplanır.

4.Adım: Seaborn ısı haritası yardımıyla karışıklık matrisini çizilir.

Çıktı:

5.Adım: Karışıklık Metriklerine Dayalı Sınıflandırma Raporu

Çıktı: