Adadelta

Adadelta, gradyan inişi (gradient descent) tabanlı optimizasyon algoritmalarından biridir ve daha verimli bir öğrenme süreci sunmayı amaçlar. Adadelta, özellikle derin öğrenme ve makine öğrenmesi alanlarında kullanılan, öğrenme oranı (learning rate) gibi hiperparametrelerin manuel olarak ayarlanmasının zor olduğu durumlarda, adaptif öğrenme oranlarıyla önemli avantajlar sağlar.

Temel Kavramlar

Adadelta, temel olarak gradyan inişi yöntemini geliştirir ve öğrenme oranını her parametre için otomatik olarak ayarlayan bir mekanizma sunar. Bu algoritma, daha önceki adımlardan gelen gradyan bilgilerini kullanarak, güncelleme adımlarında daha etkili ve hızlı bir şekilde öğrenmeyi amaçlar.

Adadelta'nın en önemli özelliği, parametre güncellemelerinde yalnızca kısa dönemli geçmiş bilgilerini kullanmasıdır. Bu, algoritmanın daha hafif ve verimli çalışmasını sağlar.

Adadelta Algoritmasının Matematiksel Formülü

Adadelta algoritmasında, güncelleme adımı aşağıdaki formüllerle yapılır:

Geçmiş Gradyanların Hesaplanması: Her iterasyon için, her parametre için geçmiş gradyanlar karelerinin birikimli ortalaması (exponentially decaying average) hesaplanır. Bu işlem, geçmiş gradyanların etkisini hafifletir:

<span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:1.0641em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.05764em;">E</span><span class="mopen">[</span><span class="mord"><span class="mord mathnormal" style="margin-right:0.03588em;">g</span><span class="msupsub"><span class="vlist-t"><span class="vlist-r"><span class="vlist" style="height:0.8141em;"><span style="top:-3.063em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight">2</span></span></span></span></span></span></span></span><span class="mclose"><span class="mclose">]</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.2806em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">t</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:1.0641em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.05764em;">ρE</span><span class="mopen">[</span><span class="mord"><span class="mord mathnormal" style="margin-right:0.03588em;">g</span><span class="msupsub"><span class="vlist-t"><span class="vlist-r"><span class="vlist" style="height:0.8141em;"><span style="top:-3.063em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight">2</span></span></span></span></span></span></span></span><span class="mclose"><span class="mclose">]</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mathnormal mtight">t</span><span class="mbin mtight">−</span><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.2083em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">+</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:1em;vertical-align:-0.25em;"></span><span class="mopen">(</span><span class="mord">1</span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">−</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:1.0641em;vertical-align:-0.25em;"></span><span class="mord mathnormal">ρ</span><span class="mclose">)</span><span class="mord"><span class="mord mathnormal" style="margin-right:0.03588em;">g</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.8141em;"><span style="top:-2.453em;margin-left:-0.0359em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">t</span></span></span><span style="top:-3.063em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight">2</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.247em;"><span></span></span></span></span></span></span></span></span></span>

• <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.625em;vertical-align:-0.1944em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.03588em;">g</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.2806em;"><span style="top:-2.55em;margin-left:-0.0359em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">t</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span>, mevcut adımda elde edilen gradyan.
• <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:1.0641em;vertical-align:-0.25em;"></span><span class="mord mathnormal" style="margin-right:0.05764em;">E</span><span class="mopen">[</span><span class="mord"><span class="mord mathnormal" style="margin-right:0.03588em;">g</span><span class="msupsub"><span class="vlist-t"><span class="vlist-r"><span class="vlist" style="height:0.8141em;"><span style="top:-3.063em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight">2</span></span></span></span></span></span></span></span><span class="mclose"><span class="mclose">]</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.2806em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">t</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span>, Gradyanların karesinin geçmiş ortalamasını temsil eder.
• <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.625em;vertical-align:-0.1944em;"></span><span class="mord mathnormal">ρ</span></span></span></span>(rho) , bu birikimli ortalama için kullanılan yumuşatma faktörüdür yani eski gradyanların ne kadar ağırlıklı kalacağını belirler. Genellikle 0.9 olarak seçilir.

Parametre Güncellemesi: Her bir parametre, Adadelta algoritmasında şu şekilde güncellenir:

<span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord">Δ</span><span class="mord"><span class="mord mathnormal" style="margin-right:0.02778em;">θ</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.2806em;"><span style="top:-2.55em;margin-left:-0.0278em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">t</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:1.5771em;vertical-align:-0.8296em;"></span><span class="mord">−</span><span class="mord"><span class="mopen nulldelimiter"></span><span class="mfrac"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.7475em;"><span style="top:-2.4642em;"><span class="pstrut" style="height:3em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord sqrt mtight"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:1.0369em;"><span class="svg-align" style="top:-3.4286em;"><span class="pstrut" style="height:3.4286em;"></span><span class="mord mtight" style="padding-left:1.19em;"><span class="mord mathnormal mtight" style="margin-right:0.05764em;">E</span><span class="mopen mtight">[</span><span class="mord mtight"><span class="mord mathnormal mtight" style="margin-right:0.03588em;">g</span><span class="msupsub"><span class="vlist-t"><span class="vlist-r"><span class="vlist" style="height:0.7463em;"><span style="top:-2.786em;margin-right:0.0714em;"><span class="pstrut" style="height:2.5em;"></span><span class="sizing reset-size3 size1 mtight"><span class="mord mtight">2</span></span></span></span></span></span></span></span><span class="mclose mtight"><span class="mclose mtight">]</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.2963em;"><span style="top:-2.357em;margin-left:0em;margin-right:0.0714em;"><span class="pstrut" style="height:2.5em;"></span><span class="sizing reset-size3 size1 mtight"><span class="mord mathnormal mtight">t</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.143em;"><span></span></span></span></span></span></span><span class="mbin mtight">+</span><span class="mord mathnormal mtight">ϵ</span></span></span><span style="top:-3.0089em;"><span class="pstrut" style="height:3.4286em;"></span><span class="hide-tail mtight" style="min-width:0.853em;height:1.5429em;"><svg xmlns="http://www.w3.org/2000/svg" width="400em" height="1.5429em" viewBox="0 0 400000 1080" preserveAspectRatio="xMinYMin slice"><path d="M95,702 c-2.7,0,-7.17,-2.7,-13.5,-8c-5.8,-5.3,-9.5,-10,-9.5,-14 c0,-2,0.3,-3.3,1,-4c1.3,-2.7,23.83,-20.7,67.5,-54 c44.2,-33.3,65.8,-50.3,66.5,-51c1.3,-1.3,3,-2,5,-2c4.7,0,8.7,3.3,12,10 s173,378,173,378c0.7,0,35.3,-71,104,-213c68.7,-142,137.5,-285,206.5,-429 c69,-144,104.5,-217.7,106.5,-221 l0 -0 c5.3,-9.3,12,-14,20,-14 H400000v40H845.2724 s-225.272,467,-225.272,467s-235,486,-235,486c-2.7,4.7,-9,7,-19,7 c-6,0,-10,-1,-12,-3s-194,-422,-194,-422s-65,47,-65,47z M834 80h400000v40h-400000z"/></svg></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.4197em;"><span></span></span></span></span></span></span></span></span><span style="top:-3.23em;"><span class="pstrut" style="height:3em;"></span><span class="frac-line" style="border-bottom-width:0.04em;"></span></span><span style="top:-3.4461em;"><span class="pstrut" style="height:3em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mathnormal mtight" style="margin-right:0.03588em;">η</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.8296em;"><span></span></span></span></span></span><span class="mclose nulldelimiter"></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">⋅</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.625em;vertical-align:-0.1944em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.03588em;">g</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.2806em;"><span style="top:-2.55em;margin-left:-0.0359em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">t</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span>

Burada:

• θt​: O anda güncellenen parametre.
• gt​: O andaki gradyan (hata türevi).
• η : Öğrenme oranı .
• ϵ: Küçük bir sabit terim (genellikle 10−8 sıfır bölme hatalarını engellemek için.
• E[g2]t​ : Gradyanların karelerinin geçmiş birikimli ortalaması.

Adapatif Öğrenme Oranı: Adadelta algoritmasında, parametrelerin her biri için öğrenme oranı otomatik olarak ayarlanır. Bu, her parametrenin geçmiş gradyanlarının karesine dayalı olarak yapılır ve manuel öğrenme oranı ayarına gerek kalmaz.

Parametre güncellemelerindeki bu adaptif yaklaşım, her parametre için daha uygun öğrenme oranlarını bulur.

Güncellenmiş Gradyanların Kullanılması: Gradyanların karelerinin birikimli ortalamasını kullandıktan sonra, her parametre güncellenir. Ayrıca, geçmiş gradyanların etkisiyle güncellenmiş olan gradyanlar da gelecekteki adımlarda daha etkili kullanılmak üzere saklanır.

Avantajları

Öğrenme Oranının Otomatik Ayarlanması: Adadelta, her parametre için öğrenme oranlarını otomatik olarak ayarlar, bu da hiperparametre ayarlarının manuel olarak yapılmasını gereksiz hale getirir. Bu, daha hızlı ve verimli bir eğitim süreci sağlar.

Hafızada Az Yer Kaplama: Adadelta, yalnızca gradyanların karelerinin birikimli ortalamasını saklar, bu da daha düşük hafıza gereksinimi anlamına gelir. Bu, özellikle büyük modellerde daha avantajlıdır.

Hızlı Konverjans: Genellikle Adadelta, diğer optimizasyon algoritmalarına göre daha hızlı bir konverjans süresi sunar çünkü parametre güncellemeleri her zaman gradyanların geçtiği geçmişe dayalı olarak optimize edilir.

Gradyanların Kararlı Dağılımı: Adadelta, gradyanların karelerinin ortalamasını dikkate alarak, büyük gradyanların etkisini zayıflatır ve küçük gradyanların etkisini artırır. Bu, daha stabil bir öğrenme süreci sağlar.

Dezavantajları

Karmaşık Hesaplamalar: Adadelta, parametre güncellemeleri için bazı ilave hesaplamalar gerektirir. Bu hesaplamalar, bazı durumlarda, algoritmanın hızını düşürebilir.

Hiperparametre Ayarları: Adadelta algoritması, hiperparametre ayarlarına duyarlıdır. Özellikle, <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.625em;vertical-align:-0.1944em;"></span><span class="mord mathnormal">ρ</span></span></span></span> ve <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.4306em;"></span><span class="mord mathnormal">ϵ</span></span></span></span> gibi hiperparametrelerin doğru ayarlanması önemlidir.

Genelleme Performansı: Adadelta, genelleme performansı açısından bazı algoritmalar kadar güçlü olmayabilir. Bu, modelin daha büyük veri kümeleri veya daha karmaşık görevler için optimizasyon gereksinimlerine bağlıdır.

Adadelta'nın Uygulama Alanları

Adadelta, özellikle büyük veri kümelerinde ve karmaşık modellerde eğitim sürelerini kısaltmak ve daha verimli öğrenme sağlamak için kullanılmaktadır. Başlıca kullanım alanları şunlardır:

Derin Öğrenme ve Sinir Ağları: Görüntü tanıma, nesne tespiti ve dil işleme gibi derin öğrenme uygulamalarında tercih edilir.

Zaman Serisi Modelleri: Özellikle zaman serisi tahminlerinde, parametrelerin güncellenmesi sırasında verimli bir öğrenme süreci sağlar.

Reinforcement Learning: Pekiştirmeli öğrenme görevlerinde, ortamdan gelen geri bildirimlere hızlı uyum sağlamak için kullanılabilir.

Adadeltanın (4,4) noktası için adım adım optimizasyon süreci görselleştirildi. (Github)

Adadelta, gradyanların geçmiş bilgilerini kullanarak öğrenme oranlarını adaptif bir şekilde ayarlayarak, daha verimli ve stabil bir öğrenme süreci sağlar.