AdamW

AdamW (Adam with Weight Decay), Adam optimizasyon algoritmasının bir varyantıdır ve özellikle modelin düzenliliği (regularization) ile ilgili önemli bir iyileştirme sunar. Bu varyasyon, L2 ceza terimi (weight decay) ekleyerek Adam'ın genel performansını ve genelleme kabiliyetini artırmayı amaçlar. Geleneksel Adam algoritması, ağırlık cezasını gradyan güncellemesiyle birlikte hesaplar ancak AdamW, bu ceza terimini güncellemeden bağımsız olarak uygular, bu da düzenliliğin daha etkili bir şekilde uygulanmasını sağlar.

Temel Kavramlar

AdamW, Adam algoritmasının temelini kullanır, ancak bu algoritmanın ağırlıkların cezalandırılmasında (regularization) yapılan bir değişikliği içerir. L2 ceza terimi, modelin ağırlıklarının büyüklüğünü kontrol altında tutarak aşırı öğrenmeyi (overfitting) engellemeye yardımcı olur. Adam algoritması, bu düzenliliği yanlış bir şekilde gradyan güncellemeleriyle birlikte hesaplarken, AdamW bunu ayrı bir adımda uygular.

AdamW'nin Matematiksel Formülü

AdamW, temel olarak Adam algoritmasına benzer bir yapıya sahiptir ancak güncelleme sırasında ağırlık ceza terimi ayrılır. AdamW algoritmasının güncelleme adımları şu şekilde şekillenir:

Momentlerin Hesaplanması:

Momentlerin Büyüklük Düzeltmesi:

Parametre Güncelleme:

AdamW, ağırlık cezasını modelin parametre güncellemesine dahil etmeden sadece şu şekilde güncellenir:

<span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.9028em;vertical-align:-0.2083em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.02778em;">θ</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.3011em;"><span style="top:-2.55em;margin-left:-0.0278em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mathnormal mtight">t</span><span class="mbin mtight">+</span><span class="mord mtight">1</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.2083em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2778em;"></span><span class="mrel">=</span><span class="mspace" style="margin-right:0.2778em;"></span></span><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.02778em;">θ</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.2806em;"><span style="top:-2.55em;margin-left:-0.0278em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">t</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">−</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:1.2855em;vertical-align:-0.538em;"></span><span class="mord"><span class="mopen nulldelimiter"></span><span class="mfrac"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.7475em;"><span style="top:-2.5836em;"><span class="pstrut" style="height:3em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord sqrt mtight"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.8663em;"><span class="svg-align" style="top:-3em;"><span class="pstrut" style="height:3em;"></span><span class="mord mtight" style="padding-left:0.833em;"><span class="mord accent mtight"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.6944em;"><span style="top:-2.7em;"><span class="pstrut" style="height:2.7em;"></span><span class="mord mtight"><span class="mord mathnormal mtight" style="margin-right:0.03588em;">v</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.2963em;"><span style="top:-2.357em;margin-left:-0.0359em;margin-right:0.0714em;"><span class="pstrut" style="height:2.5em;"></span><span class="sizing reset-size3 size1 mtight"><span class="mord mathnormal mtight">t</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.143em;"><span></span></span></span></span></span></span></span><span style="top:-2.7em;"><span class="pstrut" style="height:2.7em;"></span><span class="accent-body" style="left:-0.25em;"><span class="mord mtight">^</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.143em;"><span></span></span></span></span></span></span></span><span style="top:-2.8263em;"><span class="pstrut" style="height:3em;"></span><span class="hide-tail mtight" style="min-width:0.853em;height:1.08em;"><svg xmlns="http://www.w3.org/2000/svg" width="400em" height="1.08em" viewBox="0 0 400000 1080" preserveAspectRatio="xMinYMin slice"><path d="M95,702 c-2.7,0,-7.17,-2.7,-13.5,-8c-5.8,-5.3,-9.5,-10,-9.5,-14 c0,-2,0.3,-3.3,1,-4c1.3,-2.7,23.83,-20.7,67.5,-54 c44.2,-33.3,65.8,-50.3,66.5,-51c1.3,-1.3,3,-2,5,-2c4.7,0,8.7,3.3,12,10 s173,378,173,378c0.7,0,35.3,-71,104,-213c68.7,-142,137.5,-285,206.5,-429 c69,-144,104.5,-217.7,106.5,-221 l0 -0 c5.3,-9.3,12,-14,20,-14 H400000v40H845.2724 s-225.272,467,-225.272,467s-235,486,-235,486c-2.7,4.7,-9,7,-19,7 c-6,0,-10,-1,-12,-3s-194,-422,-194,-422s-65,47,-65,47z M834 80h400000v40h-400000z"/></svg></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.1737em;"><span></span></span></span></span></span><span class="mbin mtight">+</span><span class="mord mathnormal mtight">ϵ</span></span></span></span><span style="top:-3.23em;"><span class="pstrut" style="height:3em;"></span><span class="frac-line" style="border-bottom-width:0.04em;"></span></span><span style="top:-3.4461em;"><span class="pstrut" style="height:3em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mathnormal mtight" style="margin-right:0.03588em;">η</span></span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.538em;"><span></span></span></span></span></span><span class="mclose nulldelimiter"></span></span><span class="mord accent"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.6944em;"><span style="top:-3em;"><span class="pstrut" style="height:3em;"></span><span class="mord"><span class="mord mathnormal">m</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.2806em;"><span style="top:-2.55em;margin-left:0em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">t</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span><span style="top:-3em;"><span class="pstrut" style="height:3em;"></span><span class="accent-body" style="left:-0.25em;"><span class="mord">^</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span><span class="mspace" style="margin-right:0.2222em;"></span><span class="mbin">−</span><span class="mspace" style="margin-right:0.2222em;"></span></span><span class="base"><span class="strut" style="height:0.8889em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.03588em;">η</span><span class="mord mathnormal">λ</span><span class="mord"><span class="mord mathnormal" style="margin-right:0.02778em;">θ</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.2806em;"><span style="top:-2.55em;margin-left:-0.0278em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">t</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span>

Burada:

• <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">λ</span></span></span></span> : L2 ceza teriminin (weight decay) hiperparametresi.
• <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.625em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.03588em;">η</span></span></span></span> : Öğrenme oranı.
• <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.4306em;"></span><span class="mord mathnormal">ϵ</span></span></span></span> : Küçük bir sabit, genellikle <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8141em;"></span><span class="mord">1</span><span class="mord"><span class="mord">0</span><span class="msupsub"><span class="vlist-t"><span class="vlist-r"><span class="vlist" style="height:0.8141em;"><span style="top:-3.063em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mtight"><span class="mord mtight">−</span><span class="mord mtight">8</span></span></span></span></span></span></span></span></span></span></span></span>.
• <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8444em;vertical-align:-0.15em;"></span><span class="mord"><span class="mord mathnormal" style="margin-right:0.02778em;">θ</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.2806em;"><span style="top:-2.55em;margin-left:-0.0278em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">t</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span> : Parametre.

Bu formülde, <span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.8889em;vertical-align:-0.1944em;"></span><span class="mord mathnormal" style="margin-right:0.03588em;">η</span><span class="mord mathnormal">λ</span><span class="mord"><span class="mord mathnormal" style="margin-right:0.02778em;">θ</span><span class="msupsub"><span class="vlist-t vlist-t2"><span class="vlist-r"><span class="vlist" style="height:0.2806em;"><span style="top:-2.55em;margin-left:-0.0278em;margin-right:0.05em;"><span class="pstrut" style="height:2.7em;"></span><span class="sizing reset-size6 size3 mtight"><span class="mord mathnormal mtight">t</span></span></span></span><span class="vlist-s">​</span></span><span class="vlist-r"><span class="vlist" style="height:0.15em;"><span></span></span></span></span></span></span></span></span></span> terimi ağırlıkların cezalandırılmasını temsil eder ve güncelleme işlemi gradyan ile birlikte yapılmaz, ayrı bir terim olarak eklenir.

Adam ve AdamW Arasındaki Farklar

Adam algoritmasında, L2 ceza terimi, parametrelerin güncellenmesi ile birlikte eklenir ancak AdamW algoritmasında bu terim, gradyan güncellemesinden ayrı olarak uygulanır. Bu fark, düzenliliğin daha doğru bir şekilde yapılmasına olanak tanır ve genellikle daha iyi genelleme performansı sağlar.

• Adam: Ağırlık cezası (weight decay) gradyanlar ile birlikte uygulanır.
• AdamW: Ağırlık cezası, gradyanlar ve güncellemelerden bağımsız olarak doğrudan parametrelere uygulanır.

Avantajları

1. Daha İyi Düzenlilik (Regularization): AdamW, ağırlık cezasını doğru bir şekilde uygular, bu da modelin aşırı öğrenmesini (overfitting) engeller ve daha iyi genelleme sağlar.
2. Daha İyi Performans: Çoğu zaman AdamW, özellikle büyük veri kümelerinde ve derin öğrenme modellerinde daha iyi bir genelleme performansı sağlar.
3. Hızlı Konverjans: AdamW, Adam algoritmasının sunduğu hızlı konverjans avantajını korur ve aynı zamanda düzenliliği daha etkili şekilde uygular.
4. Daha Etkili Ağırlık Güncellemeleri: Ağırlık cezası ve gradyan güncellemelerinin ayrı olarak işlenmesi, modelin parametre güncellemelerinin daha temiz ve etkili olmasını sağlar.

Dezavantajları

1. Hiperparametre Ayarları: AdamW algoritması, ağırlık ceza teriminin (<span class="katex"><span class="katex-html" aria-hidden="true"><span class="base"><span class="strut" style="height:0.6944em;"></span><span class="mord mathnormal">λ</span></span></span></span>) doğru bir şekilde ayarlanmasını gerektirir. Yanlış bir ceza terimi değeri, modelin performansını olumsuz etkileyebilir.
2. Yüksek Hesaplama Maliyeti: AdamW, ağırlık cezasını ayrı bir terim olarak hesapladığı için, bu biraz daha fazla hesaplama gereksinimi doğurabilir. Ancak bu fark genellikle göz ardı edilebilir seviyededir.
3. Uygulama Alanlarında Uyumsuzluk: Bazı görevlerde (örneğin, çok küçük veri kümesi ve az sayıda parametre ile çalışan modeller), AdamW'nin sunduğu faydalar çok belirgin olmayabilir.

Uygulama Alanları

AdamW, özellikle büyük veri kümesi ve derin öğrenme modelleriyle yapılan çalışmalar için önerilen bir optimizasyon algoritmasıdır. Bu algoritma, genellikle şu alanlarda kullanılır:

• Derin Öğrenme Modelleri: Görüntü sınıflandırma, nesne tanıma, metin sınıflandırma gibi derin öğrenme uygulamalarında yaygın olarak tercih edilir.
• Doğal Dil İşleme (NLP): Dil modelleme ve metin sınıflandırma gibi görevlerde, AdamW'nin genelleme başarısı dikkat çeker.
• Reinforcement Learning: Pekiştirmeli öğrenme modelleri de AdamW ile optimize edilebilir.

Adadeltanın (4,4) noktası için adım adım optimizasyon süreci görselleştirildi. (

AdamW, ağırlık cezasını ayrı bir şekilde uygulayarak modelin düzenliliğini daha etkili bir şekilde sağlar.