Yapay Zekanın Kararlarını Anlamak: Pekiyi, Ama Neden?

Yapay Zeka projelerinde ilk bakılan şey çoğu zaman performanstır. Doğruluk oranı kaç, F1 skoru ne durumda, ROC eğrisi nasıl görünüyor… Bu metrikler elbette kritik öneme sahiptir. Bir model doğru tahmin üretemiyorsa, sunduğu açıklamaların da pratikte bir değeri olmaz.

Modelleri laboratuvardan çıkarıp gerçek dünyaya, hastanelere, bankalara, mahkemelere soktuğumuzda ise, doğruluğun tek başına yetmediği gerçeğiyle yüzleşiriz. Çünkü gerçek hayatta hekim, kredi uzmanı, hâkim, hatta sıradan bir vatandaş bile basit ama yoğun şu soruya odaklanır: “Bu model bu kararı neden verdi?”

Soru basit görünebilir ama yakın tarihimize kadar maalesef bir cevabı yoktu. Modeller çalışırdı, birtakım sayılar üretirdi, hatta sonuç da üretirdi ama arkasındaki mantık tamamen kapalı bir kutuydu. İşte Açıklanabilir Yapay Zeka (XAI, Explainable Artificial Intelligence) tam olarak bu boşluğu doldurmak için tarih sahnesine çıktı.

Açıklanabilir Yapay Zeka yalnızca teknik bir yaklaşım değildir. Aynı zamanda makine öğrenmesinde önem kazanmış üç temel kavramın merkezinde yer alır: adalet (fairness), hesap verebilirlik (accountability) ve şeffaflık (transparency). Literatürde FAT paradigması olarak anılan bu yaklaşım, yapay zeka sistemlerinin sadece doğru değil, aynı zamanda adil ve denetlenebilir olmasını da hedeflemektedir.

Eski bir tartışmanın yeni adı

Açıklanabilirlik meselesi esasında hiç de yeni değil. Yapay Zeka’nın doğuşuna kadar uzanıyor.

Alan Turing, 1950’de Computing Machinery and Intelligence’ta makinelerin “düşünüp düşünemeyeceğini” tartışırken odağı tamamen davranıştı. Doğru cevabı veriyor mu? İnsan gibi davranıyor mu? Yeterliydi. Ama o zemin, kararları açıklamak değil, makinenin düşünüp düşünmediğini sınamak üzerine kurulmuştu.

1980’lerin uzman sistemleri ise tam tersi uçtaydı. Kurallar elle yazılırdı: “Eğer ateş 38’in üzerindeyse ve öksürük varsa…” Bir kararın neden alındığı her zaman görülebilirdi. DENDRAL, R1 (XCON) ve Cyc gibi uzman sistemlerin yükselişinden bahsederken, bu sistemlerin temel cazibesinin doğal dilde de sorgulanabilir olmaları, yani açıklanabilir olmaları her zaman vurgulanıyordu. Fakat dar bir alanda dar alanlarda çalıştıkları için, gerçek dünya problemlerinin her geçen gün artan karmaşıklığını taşıyamadılar.

Judea Pearl, 1988’de yayımlanan Probabilistic Reasoning in Intelligent Systems kitabıyla Bayes ağlarını yaygınlaştırırken asıl büyük etki Nedensel Çıkarsama (causal inference) sayesinde oldu.  Pearl’ün Yapay Zeka dünyasına yönelttiği en önemli eleştiri şuydu: “Yapay Zeka, sadece korelasyonları ezberlemenin ötesine geçip nedenselliği sorgulamadığı sürece gerçekten akıllı sayılamaz.” Örneğin, bir yapay öğrenme modeli için “yağmur yağdığında şemsiye satışlarının arttığını” tespit etmek ve bu korelasyon üzerinden başarılı tahminler üretmek yeterli olabilir. Ancak gerçek Zeka, salt istatistiksel eşleşmelerle yetinmez ve olgunun arkasındaki “Neden?” sorusunu ve gerçek nedensellik bağlarını arar. Pearl’ün bu ufuk açıcı yaklaşımı, günümüzde kara kutu haline gelen modelleri anlamaya çalışan XAI vizyonunun temelini inşa etmiştir.

2000’lerden sonra ise veri patladı, hesaplama kabiliyeti ucuzladı. Geoffrey Hinton ekolünün öncülüğünde derin öğrenme sahneye çıktı. 2012’de Krizhevsky, Sutskever ve Hinton’un AlexNet’i ImageNet yarışmasında %83,6 doğrulukla bir devrim başlattı. Böylece derin öğrenme algoritmalarının potansiyeli geniş bir kitleye gösterilmiş oldu. Fakat bunun elbette bir bedeli vardı. Model büyüdükçe performans arttı, ancak karar mekanizması insan yorumunun erişemeyeceği kadar karmaşıklaştı. Literatürde buna doğruluk-açıklanabilirlik gerilimi (accuracy-interpretability trade-off) deniyor. Bugün de esasen bugün yaşadığımız açıklanabilirlik probleminin temelinde bu gerilim yatmaktadır.

Son on yılda ise iş ciddileşti. DARPA, 2016’da yalnızca XAI’a ayrılmış geniş çaplı bir araştırma programı başlattı. Avrupa Birliği GDPR’ı 2018’de yürürlüğe soktu. Özellikle 22. madde, “yalnızca otomatik işleme dayanan kararlar” konusunda bireylere belirli haklar tanıdı ve anlamlı bilgilendirme yükümlülüğü getirdi. Türkiye’de KVKK da benzer bir çerçeve sunuyor. AB’nin 2024’te kabul ettiği AI Act ise yüksek riskli sistemler için şeffaflığı doğrudan bir uyum koşulu hâline getirmiştir.

Kısacası tablo günümüzde artık çok net. Doğru model yetmiyor, açıklanabilir model gerekiyor.

Açıklanabilirlik neden bu kadar önemli?

Klasik yazılımda karar mantığı deterministiktir. Önceden tanımlanmış kurallar üzerinden ilerlenir ve bir çıktının hangi koşullara bağlı olarak üretildiği doğrudan izlenebilir. Yapay öğrenmede ise modelin öğrenmesi bazen yüzlerce, bazen milyonlarca parametre üzerinden gerçekleşir. Karar, bir formülün değil, ağırlıklar uzayında bir noktanın çıktısıdır.

Düşler ve Algoritmalar: Yapay Zeka kitabımda şöyle yazmıştım: “Veri kalitesi Yapay Zeka modeli oluştururken performansı en olumsuz etkileyen faktörlerden biridir… Özellikle derin öğrenme gibi yöntemlerle oluşturulan karmaşık Yapay Zeka modelleri, çoğu zaman kara kutu olarak adlandırılır, yani nasıl çalıştıkları ve hangi kararları nasıl verdikleri anlaşılamaz.”

İşte bu kara kutu meselesi de temelde üç somut probleme yol açıyor.

İlki güven sorunu. Bir hekim, kendisine “bu hastada %87 olasılıkla X tanısı var” diyen bir modele, neden dediğini bilmeden tanı koyması da beklenemez. MIT’in Ahlâki Makine projesinde de benzer bir endişe gündeme geliyor. Özellikle otonom araçlar gibi karar veren sistemlerde kime zarar vereceğine karar veren bir algoritmanın gerekçelendirilmesi etik bir zorunluluk.

İkincisi regülasyonlar. GDPR’dan AI Act’e, KVKK’dan bankacılık denetimine kadar pek çok çerçeve “anlamlı açıklama” istiyor. Bunu üretemeyen sistemler de yasal olarak sorunlu ilan ediliyor.

Üçüncüsü ise mühendislik tarafının çok iyi bildiği hata teşhisi meselesi. Model yanılıyor ama neden? Açıklama yoksa, modelin neden yanıldığını anlamak zorlaşır ve çözüm arayışı çoğu zaman daha fazla veri denemek gibi dolambaçlı bir sürece dönüşür.

Bu yüzden iyi bir modelin sadece doğru tahmin eden değil, kararını anlatabilen model olduğu gerçeği ile acımasız biçimde karşı karşıyayız.

SHAP: Her özelliğe hakkını teslim etmek

SHAP (SHapley Additive exPlanations), 2017’de Scott Lundberg ve Su-In Lee tarafından önerilmiştir. Kooperatif oyun teorisindeki Shapley değerlerine dayanan bir yaklaşım olan SHAP, her bir girdinin bir modelin çıktısına ne kadar katkıda bulunduğunu anlamaya çalışmaktadır.

İsmin arkasında ilginç bir hikâye de var. Temeli, 1953’te oyun teorisi alanında Lloyd Shapley’nin geliştirdiği ve daha sonra Nobel Ekonomi ödülü almasını sağlayan Shapley değerleri kavramına dayanıyor.

Basit bir örneği ele alalım. Bir takım oyununda toplam skoru adil biçimde nasıl paylaştırırsınız? Elbette her oyuncunun takıma katıldığında getirdiği marjinal katkıyı hesaplarsınız. Shapley’in kanıtladığı şey, bu paylaştırmanın belirli matematiksel adalet aksiyomlarını sağlayan tek yöntem olduğuydu.

SHAP da tam olarak bu fikri yapay öğrenmeye uyarlıyor. Modelin her özelliğini bir oyuncu, tahmini de skor olarak görüyor. Bir kredi başvurusu reddedildiyse SHAP şunu söyleyebilir:

• Gelir düşük olduğu için karar −0,21 birim aşağı çekildi
• Kredi geçmişi temiz olduğu için +0,08 yukarı itildi
• Borç-gelir oranı yüksek olduğu için −0,15 aşağı düştü
• … ve böylece son skora ulaşıldı

SHAP’ın gerçekten güçlü olan yanı ise şu. Matematiksel olarak tutarlı ve yerel olarak doğru. Yani aynı modele aynı girdiyi verdiğinizde aynı açıklamayı alırsınız. Özniteliklerin (feature) katkılarının toplamı model çıktısını verir. XAI literatüründeki birçok yöntemin tutarsız olabildiği (yani aynı koşullarda farklı sonuçlar verdiği) düşünülürse SHAP’ın bu özelliği çok kritik olsa gerek.

 

LIME: Yerel ve pratik bir bakış

LIME (Local Interpretable Model-agnostic Explanations) ise, biraz daha pragmatik bir çözüm. Marco Tulio Ribeiro, Sameer Singh ve Carlos Guestrin’in 2016 yılında veri bilimi alanının en önemli konferanslarından birinde yayımladıkları çalışma, alanda önemli bir etki yaratmıştır. Çalışmanın başlığı olan “Why Should I Trust You?” ifadesi, bu yaklaşımın temel motivasyonunu açıkça ortaya koymaktadır.

LIME’da modelin bütününü anlamayı boş verip, sadece tek bir karar etrafında ne olduğunu anlama felsefesini net olarak görürüz. Yani açıklamak istediğiniz veri noktasının çevresinde küçük varyasyonlar üretirerek (örneğin, geliri biraz oynatıp, yaşı bir tık değiştirip, eğitim seviyesini farklılaştırarak) modelin her varyasyona verdiği tepkiler gözlemlenir. Sonra bu lokal davranış, basit ve yorumlanabilir bir model (genellikle bir doğrusal regresyon) ile özetlenir.

Avantajı hızlı, sezgisel, model-agnostik (yani derin sinir ağı, gradient boosting, rastgele orman, farklı model mimarileriyle çalışabilmesidir) olmasıdır. Dezavantajı ise yerelliktir. Komşulukta gittiğiniz mesafeye ve hangi varyasyonları ürettiğinize bağlı olarak açıklamalar kararlı olmayabilir. Aynı veri noktası için iki farklı çalıştırmada iki farklı açıklama görmek mümkündür.

Literatürde SHAP ve LIME gibi mihenk taşı olmayan ama efektif yaklaşımlar da bulunmaktadır. Bu yöntemlerden biri olan ELI5 (Explain Like I’m 5), model açıklamalarını teknik olmayan kullanıcıların bile anlayabileceği sade bir dile indirgemeyi amaçlar. Bu sayede açıklanabilirlik yalnızca mühendisler için değil, iş birimleri ve son kullanıcılar için de erişilebilir hale gelmektedir.

 

Hangisi ne zaman?

Bu arada iki yöntemi birbirine rakip görmek doğru değildir. Açıkça söylemek gerekirse, Lundberg ve Lee’nin orijinal makalesinde gösterildiği gibi, LIME aslında SHAP’ın daha geniş çerçevesinin özel bir hâli olarak da düşünülebilir. Yani teorik olarak SHAP daha kapsamlı iken pratikte LIME daha hızlıdır.

Kullanacaklara kabaca şöyle bir öneri sunabiliriz:

SHAP finans, sigorta, sağlık gibi yüksek hassasiyetli alanlarda çok mantıklı. SHAP’ın “model açıklanabilirliğini artırarak modellerin güvenilirliğini ve karar vericiler tarafından kabulünü sağladığı” gerçeği ile beraber gerçekten de kredi reddi gibi yasal sorumluluk doğuran kararlardaki matematiksel tutarlılığına paha biçilemez. Ayrıca öznitelik etkileşimlerini anlamak istediğinizde (ki gerçek dünyada bu çok önemli) SHAP’ın etkileşim değerleri çok değerli bilgiler sunmakta.

LIME ise keşif aşamasında, prototip geliştirirken, yani modelin kararlarını bir an evvel anlamak gerektiğinde, mükemmel. Hesap maliyeti çok daha düşük, bu yüzden büyük veri kümelerinde hızlı bir prototipleme için çok ideal.

Bu noktada bir uyarı da yapalım. Her iki yöntem de açıklama üretir, ama bu açıklamaların kendisi de sorgulanabilir. Son yıllarda yapılan çalışmalar açıklamaların yanıltıcı, manipüle edilebilir veya gürültüye karşı kararsız olabileceğini göstermektedir. Yani mühendisin, alanında uzman kişinin ve en nihayetinde kullanıcının yorumunu ikame etmemekte, aksine güçlendirmektedir.

 

Asıl mesele teknoloji değil, güven

Bilgi manipülasyonu, kurumsal itibarın zedelenmesi, gizli bilgilerin sızdırılması, etik değerlerle uyuşmayan çıktılar… Bütün bu risklerin ortak paydası, açıklanamayan kararların kontrol edilemiyor olması. Yapay Zeka sistemlerinin dikkatli bir şekilde yönetilmesi ve sürekli olarak izlenmesi gerektiği bir gerçek.

Bir banka müdürü, kredinin neden reddedildiğini açıklayamazsa müşterisini kaybeder. Bir hekim, modelin tanısını gerekçelendiremezse hastasını kaybeder. Hatta bir devlet, bir algoritmanın vatandaşı hakkında verdiği kararı savunamazsa kamuoyu önünde meşruiyetini de kaybedebilir.

DARPA’nın XAI programının kapanış raporunda altı çizilen şey de buydu. Nihai amaç sadece açıklamanın ötesinde kullanıcının modeli uygun düzeyde güvenip uygun düzeyde sorgulayabilmesini sağlamak. İdeal olan doğru zamanda doğru soruyu sorabilen kullanıcılara sahip olmak ise XAI tam da bunu mümkün kılmak için hayatımızda.

Sonuç

Yapay Zeka alanında sessiz ama köklü bir kırılma yaşanıyor.

Eskiden mesele modeli kurmaktı (Daha derin ağ, daha büyük veri, daha yüksek performans skoru). Bugünse meselemiz  modeli anlamak, savunmak ve en önemlisi hesabını verebilmek.

SHAP ve LIME bu yolculukta elimizdeki en güçlü iki araç. Mükemmel değiller, ancak veri bilimciyle iş birimi, mühendisle hekim, geliştiriciyle düzenleyici aynı masada oturup konuşabiliyorlar artık.

Açıklanabilirliğin bir standart hâline gelmesi ile beraber, tıpkı yazılım dünyasında testin veya finansta denetimin karşılığı gibi bir sürece girmiş olacağız.

Yapay Zeka’nın vazgeçilmezliğinin sürdürülebilir olması için anlaşılır olması şart. Çünkü Geldiğimiz noktada artık sadece doğru sonuç üreten sistemler yerine insanların anlayabildiği sistemler gerçek güven üretebiliyor.

 

 

Kaynakça

1. Lundberg, S. M., & Lee, S.-I. (2017). A Unified Approach to Interpreting Model Predictions. Advances in Neural Information Processing Systems (NeurIPS), 30. arXiv:1705.07874
2. Ribeiro, M. T., Singh, S., & Guestrin, C. (2016). “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 1135–1144.
3. Sırt, D. (2024). Düşler ve Algoritmalar: Yapay Zeka. İTÜ Yayınevi, İstanbul. e-ISBN 978-975-561-000-0.
4. Shapley, L. S. (1953). A Value for n-Person Games. Contributions to the Theory of Games, II, 307–317. Princeton University Press.
5. Pearl, J. (1988). Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference. Morgan Kaufmann.
6. Pearl, J., & Mackenzie, D. (2018). The Book of Why: The New Science of Cause and Effect. Basic Books.
7. Turing, A. M. (1950). Computing Machinery and Intelligence. Mind, 59(236), 433–460.
8. Gunning, D., & Aha, D. W. (2019). DARPA’s Explainable Artificial Intelligence (XAI) Program. AI Magazine, 40(2), 44–58.
9. Gunning, D., et al. (2021). DARPA’s Explainable AI (XAI) Program: A Retrospective. Applied AI Letters, 2(4).
10. Goodman, B., & Flaxman, S. (2017). European Union Regulations on Algorithmic Decision-Making and a “Right to Explanation”. AI Magazine, 38(3), 50–57.
11. Avrupa Parlamentosu ve Konseyi. (2016). Genel Veri Koruma Tüzüğü (GDPR), Madde 22. Regülasyon (EU) 2016/679.
12. Avrupa Birliği. (2024). Artificial Intelligence Act (Regulation (EU) 2024/1689).
13. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet Classification with Deep Convolutional Neural Networks. NeurIPS.
14. Molnar, C. (2022). Interpretable Machine Learning: A Guide for Making Black Box Models Explainable (2nd ed.). christophm.github.io/interpretable-ml-book/
15. Doshi-Velez, F., & Kim, B. (2017). Towards a Rigorous Science of Interpretable Machine Learning. arXiv:1702.08608
16. Arrieta, A. B., et al. (2020). Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI. Information Fusion, 58, 82–115.