Yapay zekâ (YZ), son yıllarda yazılım geliştirme süreçlerinde giderek daha fazla yer edinmekte ve yazılım mühendisliğinde devrim niteliğinde değişimlere yol açmaktadır. Özellikle kod üretiminde kullanılan büyük dil modelleri (LLM’ler), geliştiricilerin daha hızlı ve üretken çalışmasını sağlamaktadır. Ancak bu teknolojilerin gelişimi, beraberinde çeşitli güvenlik sorunlarını da getirmiştir.
YZ ile yazılan kodların güvenliği, hem geliştiriciler hem de güvenlik uzmanları için günümüzün önemli sorularından biri hâline gelmiştir. Kod üretiminde yapay zekânın kullanılması, potansiyel olarak kötü niyetli aktörlerin istismar edebileceği güvenlik açıklarını beraberinde getirebilir. Ayrıca, bu sistemlerin eğitildiği verilerin kalitesi ve çeşitliliği, ortaya çıkan kodun güvenliğini doğrudan etkileyebilmektedir.
Yapay zekâ modelleri, örüntü tanıma ve öğrenme yoluyla kod üretse de, yazdığı kodun bağlamını, amacını ya da güvenlik gerekliliklerini tam olarak anlayamaz. Bu da YZ tarafından üretilen kodların, güvenlik açıklarına daha yatkın olabileceği anlamına gelir. Örneğin, GitHub Copilot tarafından yazılan kodlarda yapılan bir analizde, önerilen snippet'lerin %40'ında güvenlik açığı bulunduğu bildirilmiştir (Perry et al., 2022).
Yapay zekâ (YZ) teknolojilerinin hızla benimsenmesi, yazılım geliştirme süreçlerinde verimlilik artışı sağlarken, beraberinde yeni ve karmaşık güvenlik tehditlerini de getirmiştir. Son yıllarda yaşanan bazı olaylar, YZ'nin güvenlik açıklarına nasıl zemin hazırlayabileceğini somut bir şekilde ortaya koymuştur.
2025 yılı başlarında, Çin merkezli yapay zekâ sohbet robotu DeepSeek'in veri tabanında ciddi bir güvenlik açığı tespit edilmiştir. Bu açık, kullanıcı sohbet geçmişleri ve kişisel bilgilerin sızdırılmasına neden olmuştur. Olayın ardından, Avustralya, Güney Kore, Kanada ve ABD gibi ülkeler, DeepSeek uygulamasını kamu kurumlarında yasaklamış ve veri güvenliği konusunda ciddi endişeler dile getirmiştir.
Ocak 2025'te, ABD'nin Maine eyaletindeki bir belediye, yapay zekâ tarafından oluşturulan sahte e-postalar ve derin sahte (deepfake) ses mesajlarıyla gerçekleştirilen sofistike bir kimlik avı saldırısına maruz kalmıştır. Saldırganlar, belediye yetkililerini kandırarak sahte ödemeler yapılmasını sağlamış ve bu durum belediyeye on binlerce dolarlık maddi zarar vermiştir.
2024 yılında, Python Package Index (PyPI) üzerinden, ChatGPT ve Claude gibi popüler yapay zekâ araçlarını taklit eden sahte paketler aracılığıyla JarkaStealer adlı zararlı yazılımın dağıtıldığı tespit edilmiştir. Bu yazılım, geliştiricilerin sistemlerinden hassas bilgileri çalmak amacıyla kullanılmıştır.
2024 yılında, Scattered Spider adlı hacker grubu, Snowflake adlı bulut veri platformuna sızarak, AT&T, Ticketmaster ve Santander Bank gibi birçok büyük kuruluşun müşteri verilerini ele geçirmiştir. Bu saldırı, yapay zekâ uzmanlarının da hedef alındığı ve hassas verilerin çalındığı bir dizi siber saldırının parçası olarak değerlendirilmiştir.
2024 yılında, Çin bağlantılı SweetSpecter adlı tehdit aktörü, SugarGh0st RAT adlı zararlı yazılımı kullanarak, ABD'li yapay zekâ uzmanlarını hedef almıştır. Bu saldırılar, akademik çevreler ve özel sektör çalışanlarını kapsayarak, hassas bilgilerin çalınması ve casusluk faaliyetleri kapsamında değerlendirilmiştir.
Yapay zekâ kod üretim modelleri, eğitildikleri devasa kod havuzları içindeki hatalı veya kötü niyetli örneklerden öğrendikleri için sıklıkla güvenlik açısından zafiyetli kod parçacıkları üretir. Empirik bir çalışmada, GitHub Copilot tarafından üretilen Python snippet’lerinin %29,5’inin ve JavaScript snippet’lerinin %24,2’sinin en az bir güvenlik açığı barındırdığı tespit edilmiştir. Ayrıca Perry ve arkadaşları, Copilot’un yüksek riskli CWE senaryolarında %40’ın üzerinde oranda güvensiz kod önerisi yaptığını ortaya koymuştur. Bu durum, AI destekli kod parçacıklarını doğrudan üretim ortamlarına dahil etmenin ciddi riskler taşıdığını göstermektedir.
Yapay zekâ modelleri, saldırganlar tarafından “few-shot model extraction” yöntemleriyle kopyalanabilir; birkaç sorgu ile modeli taklit etmek, fikri mülkiyet ihlali ve güvenlik önlemlerinin aşılması riskini doğurur. Düşmanca örnek (adversarial) saldırılar, modelin eğitildiği dağılımın dışına çıkartılan yapay girdilerle LLM’lerin istenmeyen veya zararlı çıktılar üretmesini sağlayabilir. Buna ek olarak, prompt enjeksiyonu saldırılarıyla sistem komutları veya güvenlik yönergeleri aşılabilir; OWASP GenAI raporuna göre bu zafiyetler, kullanıcı girdilerinin doğrudan modele iletilmesiyle kritik veri sızdırmalarına yol açmaktadır. Gerçek dünyada da, CMU araştırmacıları ChatGPT, Bard ve Claude gibi büyük modellerde basit metin müdahalelerinin güvenlik önlemlerini deldiğini göstererek bu riskin ciddiyetini ortaya koymuştur.
Data poisoning saldırıları, eğitim verisine kötü niyetli örnekler ekleyerek modelin gelecekte üreteceği kodun güvenliğini baltalar. Çalışmalar, %1’in altında oranlarda bile enjekte edilen zararlı kodun üretim kalitesini düşürdüğünü göstermektedir. Improta’nın “un-repairing code” pozisyon bildirisi, eğitim verisine eklenen ufak değişikliklerin bile üretilecek kodda tespit edilmesi zor güvenlik açıkları ortaya çıkardığını vurgular.
SQL Injection, dışarıdan gelen girdilerin SQL komutu olarak yorumlanmasına izin verilmesiyle veri tabanı sorgularının kötü niyetli olarak manipüle edilmesine imkân tanır. Örneğin, Hibernate ile dinamik SQL oluşturulmasında kullanıcı girdisinin yeterince temizlenmemesi, beklenmeyen komutların çalıştırılmasıyla sonuçlanabilir.
Cross-Site Scripting (XSS), web uygulamasının kullanıcıdan aldığı veriyi doğru şekilde nötralize etmemesi sonucu zararlı script kodlarının ziyaretçilerin tarayıcılarında çalıştırılmasına yol açar. Örneğin, sunucudan dönen HTML içeriğine kullanıcı girdisi gömüldüğünde ve bu çıktı HTML encode edilmeden gösterildiğinde, saldırganlar depolu veya yansıtılmış XSS saldırıları düzenleyebilir.
Improper Authentication, istemcinin sunduğu kimlik bilgilerinin yeterince doğrulanmaması veya hiç doğrulanmaması durumudur. Bu zafiyet, örneğin oturum belirteci (token) kullanımında imza doğrulamasının atlanmasıyla yetkisiz erişimlere izin verebilir.
Insecure Deserialization, güvenliği sağlanmayan veri serileştirme yöntemleriyle dışarıdan gelen veri akışının deserializasyonu sırasında zararlı nesnelerin çalıştırılmasına olanak tanır. Cloud Defense analizine göre, Python’da gelen JSON verisinin imza veya tip kontrolü yapılmadan doğrudan yüklenmesi, uzak kod çalıştırma riskini doğurabilir.
Exposure of Sensitive Information, uygulamanın yetkisiz aktörlere veri sızdırmasıyla kullanıcı gizliliğini ihlal eder. Örneğin, konfigürasyon dosyalarında açıkça saklanan API anahtarları veya şifreler, sızma durumunda kötü niyetli kişilerin sistem kaynaklarına erişmesine yol açabilir.
Yapay zekâ destekli kod üretimi, yazılım geliştirme süreçlerinde hız ve verimlilik sağlarken, üretilen kodların %29,5’inin güvenlik açığı barındırdığına dair bulgular mevcuttur. Bu durum, kodun yaşam döngüsünün en başından itibaren güvenlik odaklı tasarlanmasını zorunlu kılar. Kod üretiminde “shift-left” güvenlik yaklaşımlarının benimsenmesi, eğitim verisi bütünlüğünün korunması ve otomatik test araçlarının entegre edilmesi; güvenlik risklerini anlamlı ölçüde azaltmaktadır. Ayrıca, adversarial ve prompt enjeksiyon gibi model bazlı saldırı vektörlerine karşı proaktif tedbirler alınmalıdır.
Adversarial Attacks on Large Language Models. In Advances in Artificial Intelligence and Security, 100–120. ACM, 2022. https://doi.org/10.1007/978-981-97-5501-1_7.
Attaxion. “CWE-200: Information Exposure.” Erişim tarihi: 27.04.2025. https://attaxion.com/glossary/cwe-200-information-exposure/.
Bavarian, M., K. Zhang, ve K. Grosse. “Prompt Injection Attacks in the Wild: Case Studies and Mitigations.” Black Hat USA, 2023. Etkinlik sayfası.
Center for Security and Emerging Technology. Cybersecurity Risks of AI-Generated Code. Georgetown University, 2024. https://cset.georgetown.edu/publication/cybersecurity-risks-of-ai-generated-code/.
Checkmarx. “7 DAST Best Practices for Secure Applications.” Erişim tarihi: 27.04.2025. https://checkmarx.com/learn/dast/7-dast-best-practices-for-secure-applications/.
CloudDefense.AI. “CWE-502: Insecure Deserialization.” Erişim tarihi: 27.04.2025. https://www.clouddefense.ai/cwe/definitions/502.
Codacy. “OWASP Top 10: Why It Matters and How to Use It.” Erişim tarihi: 27.04.2025. https://blog.codacy.com/owasp-top-10.
Codiga. “Static Code Testing: Why It Matters.” Erişim tarihi: 27.04.2025. https://www.codiga.io/blog/static-code-testing/.
Cotroneo, D., C. Improta, P. Liguori, ve R. Natella. “Vulnerabilities in AI Code Generators: Exploring Targeted Data Poisoning Attacks.” arXiv, 2023. https://arxiv.org/abs/2308.04451.
Cotroneo, D., A. Foggia, C. Improta, P. Liguori, ve R. Natella. “Automating the Correctness Assessment of AI-Generated Code for Security Contexts.” arXiv, 2023. https://arxiv.org/abs/2310.18834.
CSF Tools. “CSC 18.1: Secure Application Development.” Erişim tarihi: 27.04.2025. https://csf.tools/reference/critical-security-controls/version-7-1/csc-18/csc-18-1/.
CVE Details. “CWE-287: Improper Authentication.” Erişim tarihi: 27.04.2025. https://www.cvedetails.com/cwe-details/287/Improper-Authentication.html.
Fu, Y., P. Liang, A. Tahir, Z. Li, M. Shahin, J. Yu, ve J. Chen. “Security Weaknesses of Copilot-Generated Code in GitHub Projects: An Empirical Study.” arXiv, 2023. https://arxiv.org/abs/2310.02059.
Glasswall. “Defending the Future: A Guide to Fortifying AI Against Data Poisoning Attacks.” 15 Haziran 2023. https://www.glasswall.com/blog/defending-the-future-a-guide-to-fortifying-ai-against-data-poisoning-attacks.
Improta, C. “Poisoning Programs by Un-Repairing Code: Security Concerns of AI-Generated Code.” arXiv, 2024. https://arxiv.org/abs/2403.06675.
Information and Software Technology. “DeVAIC: A Tool for Security Assessment of AI-Generated Code.” Vol. 177, Article 107572. Elsevier, 2025. https://doi.org/10.1016/j.infsof.2024.107572.
Invicti. “How to Implement DAST Effectively: Guide and Tips.” 2 Ağustos 2023. https://www.invicti.com/blog/web-security/how-to-implement-dast-effectively-guide-and-tips/.
Lakera. “Training Data Poisoning: What It Is and How to Prevent It.” 17 Nisan 2023. https://www.lakera.ai/blog/training-data-poisoning.
MITRE. “CWE-89: Improper Neutralization of Special Elements Used in an SQL Command (‘SQL Injection’).” Erişim tarihi: 27.04.2025. https://cwe.mitre.org/data/definitions/89.html.
MITRE. “CWE-79: Improper Neutralization of Input During Web Page Generation (‘Cross-Site Scripting’).” Erişim tarihi: 27.04.2025. https://cwe.mitre.org/data/definitions/79.html.
NIST. “Secure Software Development Framework (SSDF).” Erişim tarihi: 27.04.2025. https://csrc.nist.gov/projects/ssdf.
OWASP. “LLM01:2025 Prompt Injection.” OWASP Gen AI Top 10, 2025. https://genai.owasp.org/llmrisk/llm01-prompt-injection/.
Parasoft. “Best Practices for Using Static Analysis Tools.” 10 Şubat 2022. https://www.parasoft.com/blog/best-practices-for-using-static-analysis-tools/.
Pearce, H., T. Ahmad, B. Tan, B. Dolan-Gavitt, ve P. Traynor. “Asking More of Code Generators: Security and Safety in GitHub Copilot’s Code Suggestions.” IEEE Symposium on Security and Privacy, 2022. https://ieeexplore.ieee.org/document/9833673.
Perry, A., M. Imani, D. Nalewalk, ve P. Devanbu. “Asleep at the Keyboard? Assessing the Security of GitHub Copilot’s Code Contributions.” arXiv, 2021. https://arxiv.org/abs/2108.09293.
Pynt.io. “What Is Training Data Poisoning in LLMs? 6 Ways to Prevent It.” Erişim tarihi: 27.04.2025. https://www.pynt.io/learning-hub/llm-security/what-is-training-data-poisoning-in-llms-6-ways-to-prevent-it.
SentinelOne. “Data Poisoning.” Erişim tarihi: 27.04.2025. https://www.sentinelone.com/cybersecurity-101/cybersecurity/data-poisoning/.
Sharma, R., S. Talebi, ve T. Wang. “Analyzing Authentication Vulnerabilities in LLM-Generated Applications.” IEEE Secure Development Conference, 2023. https://ieeexplore.ieee.org/document/10308745.
Wired. “A New Attack Impacts Major AI Chatbots—and No One Knows How to Stop It.” 15 Ağustos 2023. https://www.wired.com/story/ai-adversarial-attacks.
Z0enix. “CWE-79: Cross-Site Scripting (XSS) – Zararlı Girdilerin Nötralize Edilememesi.” 13 Ağustos 2021. https://z0enix.medium.com/cwe-79-improper-neutralization-of-input-during-web-page-generation-cross-site-scripting-db5719c34014.
Yapay Zekâ Kaynaklı Güncel Güvenlik Açıkları
1. DeepSeek Veri Sızıntısı
2. Maine Belediyesi'ne Yönelik AI Destekli Kimlik Avı Saldırısı
3. PyPI Üzerinden JarkaStealer Zararlı Yazılımı Dağıtımı
4. Snowflake Veri İhlali
5. SugarGh0st RAT ile Yapay Zekâ Uzmanlarına Yönelik Casusluk Faaliyetleri
Yapay Zeka Tarafından Üretilen Kodların Güvenlik Riskleri
Güvensiz Kod Üretimi
Model Zafiyetleri
Eğitim Verisi Kaynaklı Riskler
Yaygın Güvenlik Açıkları (CWE Tabanlı Örneklerle)
SQL Injection (CWE-89)
Cross-Site Scripting (CWE-79)
Improper Authentication (CWE-287)
Insecure Deserialization (CWE-502)
Exposure of Sensitive Information (CWE-200)
Güvenlik Açıklarını Önleme Yöntemleri
Güvenli Kodlama Pratikleri
Statik ve Dinamik Analiz Kullanımı
Eğitim Verilerinin Temizliği
Yapay Zeka Kod Üreticileri için Güvenlik Test Araçları
DeVAIC (Detecting Vulnerabilities in AI-Generated Code)
ACCA (AI Code Completeness Analyzer)
AICodeReview
Codexity
Semgrep ve GitHub CodeQL
Öneriler
Bu madde yapay zeka desteği ile üretilmiştir.