Dropout, derin öğrenme modellerinde aşırı uyumu (overfitting) önlemek amacıyla geliştirilen ve günümüzde yaygın şekilde kullanılan bir düzenleme (regularization) yöntemidir. İlk olarak Geoffrey Hinton ve çalışma arkadaşları tarafından 2012 yılında önerilmiş ve sonrasında Nitish Srivastava'nın liderliğinde 2014 yılında detaylı olarak incelenmiştir .

^{Dropout çalışma prensibi tasviri (Yapay Zekâ ile oluşturulmuştur)}

İşleyiş Mekanizması

Dropout, derin sinir ağlarında aşırı uyumu önlemeye yönelik bir düzenleme (regularization) yöntemidir. Eğitim sırasında, gizli katmandaki nöronların rastgele bir alt kümesi, belirlenen bir dropout oranı p doğrultusunda devre dışı bırakılır. Bu nöronlar, o adımda ileri (forward) ve geri (backpropagation) geçişlerde kullanılmaz. Böylece ağ, her eğitim iterasyonunda farklı “küçülmüş alt ağlar (thinned subnetworks)” üzerinde çalışmak zorunda kalır ve bu durum:

• Nöronların co-adaptation (birbirine bağımlı öğrenme) eğilimini azaltır,
• Ağın, farklı özellik kombinasyonlarından bağımsız olarak daha genelleyici özellikler öğrenmesini destekler,
• Modelin farklı alt ağların tahminlerinin ortalamasını alan bir ensemble gibi davranmasına katkı sağlar.

Eğitimin ardından, tüm nöronlar aktif hale getirildiğinde çıktıların tutarlı olması için, nöron çıktıları genellikle $\frac{1}{1-p}$ ile ölçeklenir. Bu yöntem, ağrılıkların küçültülmüş ağlarda görülen ortalama etkisini korur.

Matematiksel olarak:

$y^\sim l$ = $m^l$ ⊙ $y^ l$

Burada:

• $y^\sim l$ : Dropout sonrası l. katmandaki çıktılar
• $m^l$ : Bernoulli(p) dağılımından gelen maske vektörü (p: bırakma oranı),
• $y^l$ : Dropout öncesi çıktılar,
• ⊙ : Eleman bazlı çarpım.

Dropout, eğitim sırasında birden çok "thinned" ağ üzerinde öğrenme yapılmasını sağlar. Bu, ensembel yöntem gibi çalışarak tek bir modelin birden fazla farklı konfigürasyondan elde edilen ortalama çıktısı gibi davranmasına zemin hazırlar. Dolayısıyla aşırı uyum önemli oranda azaltılır ve test başarımı artar

Tarihçe

• 2012: Geoffrey Hinton ve çalışma arkadaşları, "Improving neural networks by preventing co‑adaptation of feature detectors^【1】 " başlıklı teknik raporlarında, Dropout kavramını ilk kez tanıtmışlardır.
• 2012: Aynı ekip, Dropout'u AlexNet mimarisine entegre ederek ImageNet yarışmasında elde ettiği başarıları paylaşmış ve CNN'lerde Dropout'un etkili rolünü göstermiştir.
• 2014: Nitish Srivastava ve arkadaşları tarafından Journal of Machine Learning Research (JMLR)’de yayımlanan makalede,^【2】  Dropout’un düzenleme rolü detaylı biçimde analiz edilmiştir. Bu çalışma, düzenleme etkisini, ensembel teorisini ve performans artışlarını ampirik olarak ortaya koyar.
• 2013: DropConnect gibi tekniklerin ortaya çıkışı, Dropout’un farklı varyantlarını teşvik etmiştir.

Kullanım ve Parametreler

Popüler kütüphaneler (Keras, TensorFlow, PyTorch) Dropout katmanını hazır olarak sumaktadır.

Avantaj ve Dezavantajlar

Avantajlar

• Aşırı uyumu azaltarak genelleme başarısını artırır.
• Ensemble etkisiyle model çeşitliliğini artırır.
• Uygulaması ve parametre ayarı görece kolaydır.
• Hafif hesaplama yüküyle kullanılabilir.

Dezavantajlar

• Eğitim süresi artabilir.
• Çıkış ve eğitim arasındaki ölçek farkını dikkatle yönetmek gerekir.
• Tüm mimarilerde etkili olmayabilir.

Gelişmiş Varyantlar

Basit Dropout: Gizli katmanlarda tipik olarak %50, girişlerde %10–20 oranında nöron devre dışı bırakılır. Testte tüm nöronlar aktifken çıktı ölçeklenir .

DropConnect: Nöron yerine bağlantıyı rastgele kapatır.

SpatialDropout, DropBlock, MC Dropout (Bayes yaklaşımlarında belirsizlik tahmini için dropout testte de kullanılır)

Monte Carlo Dropout: Test aşamasında birden çok maskeli geçiş yapılarak model belirsizliği tahmin edilir.

Early/Late Dropout: Eğitim sürecinin başında veya sonunda dropout etkin hale getirilerek modelin öğrenme dinamikleri optimize edilir .

Yönelim ve Uygulama Alanları

Dropout, konvolüsyonel sinir ağları (CNN), tam bağlantılı derin ağlar (DNN) ve tekrarlayan ağlarda (RNN) yaygın şekilde kullanılır. Ayrıca bayesci belirsizlik modellemeleri için de esnek bir içerik sağlar ve güvenilir sonuç elde edilmesini kolaylaştırır .