Otomasyon Yanlılığı / Navigasyon sağa dönmemizi söylüyor. Ama yol bize yanlış görünüyor. Yine de dönüyoruz. Telefon bir kelimeyi düzeltiyor. “Ben bunu böyle yazmamıştım.” diye düşünüyoruz. Ama düzeltmeyi kabul ediyoruz.
Yapay zekâ bir soruya son derece kendinden emin bir cevap veriyor. İçimizden “Bu doğru olmayabilir.” diyoruz. Ama birkaç saniye sonra cevabı kullanıyoruz. Çünkü zihnimizin bir köşesinde yeni bir varsayım oluşmaya başladı: “Makine herhâlde benden daha iyi biliyordur.”
İşte tam burada modern insanın yeni bilişsel sorunlarından biri ortaya çıkıyor: Automation bias; yani “otomasyon yanlılığı” Peki, Otomamsyon Yanlılığı Nedir?
En basit ifadeyle Otomamsyon Yanlılığı, insanların otomatik bir sistemin öneri veya çıktısına gereğinden fazla güvenerek kendi bilgilerini, gözlemlerini ya da alternatif bilgi kaynaklarını yeterince değerlendirmemeleri eğilimidir.
Bu kavram yapay zekâyla ortaya çıkmadı. Havacılık, tıp, nükleer tesisler ve otomatik karar destek sistemleri gibi yüksek riskli alanlarda uzun süredir araştırılıyor. Fakat yapay zekâ Otomamsyon Yanlılığı‘nı gündelik hayatımızın içine taşıdı.
Artık yalnızca pilotların veya doktorların problemi değil. Hepimizin problemi olabilir. Çünkü cebimizde sürekli tavsiye veren bir makine taşıyoruz.
Makine Neden Bize Daha Güvenilir Görünüyor?
Otomasyon Yanlılığı / Bunun bir nedeni basit: Otomasyon çoğu zaman gerçekten işe yarıyor. Navigasyon bizi çoğunlukla doğru yere götürüyor. Yazım denetimi hatalarımızın çoğunu düzeltiyor.
Arama motorları istediğimiz bilgiyi buluyor. Öneri algoritmaları sevdiğimiz müzikleri tahmin edebiliyor. Yapay zekâ çoğu sorumuza makul cevaplar üretebiliyor.
Bu başarılar zihnimizde bir güven geçmişi oluşturuyor. Sorun sistemin 99 kez doğru olması değildir.
Sorun, yüzüncü seferde de doğru olacağını otomatik olarak varsaymamızdır.
Çünkü yüksek güvenilirlik zamanla insan denetimini azaltabilir.
Makine ne kadar başarılı olursa onu kontrol etme ihtiyacımız o kadar gereksiz görünebilir.
Paradoks tam da burada başlar.
Navigasyon Uçurumdan Aşağı Götürür mü?
Navigasyon otomasyon yanlılığının gündelik hayattaki en görünür örneklerinden biridir.
Ekranda rota görünür. Ses “200 metre sonra sağa dönün.” der. Ama sağdaki yol dar, karanlık veya anlamsız görünmektedir. İnsan kendi gözleriyle ekran arasında birkaç saniyelik bir çatışma yaşar.
Ve bazen ekran kazanır.
Dünyanın farklı ülkelerinde sürücülerin GPS yönlendirmelerini takip ederek göllere, çıkmaz yollara veya araç için uygun olmayan güzergâhlara girdiklerine ilişkin vakalar yıllardır haber oluyor.
Burada mesele “Navigasyon kötüdür.” değildir. Navigasyon son derece yararlı bir teknolojidir.
Mesele şudur: Harita ile gerçek dünya çeliştiğinde hangisine bakıyoruz?
Doktor Görüyor, Bilgisayar Görmüyorsa?
Otomasyon Yanlılığı’ nın daha ciddi sonuçları sağlık alanında ortaya çıkabilir.
-
Bir doktor hastanın belirtilerini değerlendiriyor.
-
Kendi deneyimi bir ihtimali düşündürüyor.
-
Fakat bilgisayar destekli sistem başka bir sonuç öneriyor.
Ne olacak?
Araştırmalar yanlış otomatik tavsiyelerin bazı durumlarda insanların başlangıçta doğru olan kararlarını değiştirebildiğini gösteriyor. Bu nedenle sağlıkta AI konusunda asıl mesele yalnızca algoritmanın ne kadar başarılı olduğu değildir.
İkinci soru da önemlidir: İnsan, algoritmanın hatasını fark edebiliyor mu? Çünkü %95 doğru çalışan bir sistem kulağa mükemmel gelir. Ama binlerce kararın verildiği bir ortamda kalan %5 hâlâ önemlidir.
Ve insan denetiminin amacı tam da bu noktada ortaya çıkar.
Yapay Zekânın Yeni Gücü: Kendinden Emin Konuşması
Üretken yapay zekâ otomasyon yanlılığına yeni bir boyut ekliyor.
Yeni sistemler açıklıyor. Gerekçelendiriyor. Örnek veriyor. Maddelendiriyor. Profesyonel bir dille yazıyor.
Bazen kaynak bile gösteriyor. Bu akıcılık önemli bir psikolojik sorun oluşturabilir: İyi ifade edilmiş cevap ile doğru cevabı birbirine karıştırabiliriz.
Bir cümlenin akıcı olması onun doğru olduğunu göstermez. Bir cevabın uzun olması güvenilir olduğunu göstermez. Bir açıklamanın ikna edici olması kanıtlandığı anlamına gelmez.
Yapay zekânın “bilmiyorum” demesi gereken yerde makul görünen yanlış bir cevap üretmesi hâlâ mümkündür.
Bu nedenle AI çağında yeni bir zihinsel refleks geliştirmemiz gerekiyor: Akıcılığı doğrulukla karıştırmamak.
Asıl Tehlike Yanlış Cevap Değil, Kontrol Etmeyi Bırakmaktır
Bir yapay zekânın yanlış cevap vermesi şaşırtıcı değildir.
İnsanlar da yanlış cevap verir. Asıl önemli mesele başka Yanlış cevap karşısında insanın zihinsel olarak devreden çıkması. Önceki “Otomasyonla Gelen Beceri Kaybı” yazımızda şu soruyu sormuştuk:
-
Navigasyon sürekli yönümüzü bulursa yön bulma becerimize ne olur?
-
Hesap makinesi sürekli hesaplarsa zihinden hesaplama ne olur?
-
AI sürekli yazarsa yazma becerimiz ne olur?
Otomasyon Yanlılığı bu tartışmaya yeni bir soru ekliyor:
Makine sürekli karar verirse kendi kararımıza güvenme ve kararımızı sınama becerimize ne olur?
Bu iki sorun birbirini besleyebilir.
Bir beceriyi daha az kullanırız. Becerimize güvenimiz azalır. Makineye daha fazla başvururuz. Makineye daha fazla başvurdukça beceriyi daha az kullanırız.
Ve bir döngü oluşur: Kullanma ↓ → Güven ↓ → Otomasyona başvurma ↑ → Kullanmaya devam↓
Makine Yanıldığında İnsan Neden Fark Etmeyebilir?
Çünkü kontrol etmek de bilişsel emek ister.
Bir AI cevabını doğrulamak için:
-
Konuyu biraz bilmeniz,
-
kaynaklara bakmanız,
-
çelişkileri fark etmeniz,
-
alternatif ihtimalleri düşünmeniz,
-
gerekirse başka bir uzmana danışmanız gerekir.
Hazır cevabı kabul etmek ise çok daha kolaydır.
Bu nedenle Otomasyon Yanlılığı yalnızca teknolojiye güven problemi değildir.
Aynı zamanda bir bilişsel ekonomi problemidir.
Zihin doğal olarak: “Bunu yeniden kontrol etmeme gerek var mı?” diye sorar.
Çoğu zaman cevap: “Hayır.” olabilir. Ama önemli kararların küçük bir bölümünde bu cevap çok pahalıya mal olabilir.
Uzmanlar Bile Korunaklı Değil
“Ben alanımı biliyorum, AI beni yanıltamaz.” demek de fazla güvenli bir varsayım olabilir.
Uzmanlık otomasyon yanlılığına karşı koruma sağlayabilir; çünkü uzman yanlışlığı fark edecek bilgiye sahiptir.
Fakat uzmanlar da otomatik sistemlerin önerilerinden etkilenebilir.
Özellikle sistem çoğu zaman doğru çalışıyorsa dikkat zamanla azalabilir.
Bu olguya “complacency” yani “otomasyona karşı rehavet” kavramı da eşlik eder.
Sistem güvenilirdir. İnsan rahatlar. Kontrol azalır. Sonra sistem hata yapar. İnsan hazırlıksız yakalanır.
Teknolojinin ironilerinden biri budur: Sistem ne kadar güvenilir olursa, nadir hatasını yakalamak bazen o kadar zorlaşabilir.
Çözüm Makineye Güvenmemek Değil, Doğru Güvenmektir
Buradan “AI’a güvenmeyin.” sonucuna ulaşmak yanlış olur.
Her şeyi kendimiz kontrol etmeye kalkarsak otomasyonun sağladığı yararın önemli bölümünü kaybederiz.
İhtiyacımız olan şey calibrated trust yani ayarlanmış/ölçülü güvendir.
Yani sisteme ne körü körüne güvenmek ne de her önerisini reddetmek.
Güveni sistemin gerçek yeteneğine göre ayarlamak.
Basit bir restoran önerisinde AI’a oldukça geniş alan bırakabilirsiniz.
Bir sağlık kararında aynı şeyi yapmamalısınız.
Bir yazının başlığını seçerken önerisini rahatlıkla kullanabilirsiniz.
Hukuki bir sözleşmedeki kritik hüküm için bağımsız doğrulama gerekir.
Temel ilke basittir: Kararın bedeli yükseldikçe doğrulamanın düzeyi de yükselmelidir.
Yapay Zekâ Kullanırken Beş Saniyelik Zihinsel Fren
Kendimizi otomasyon yanlılığı’ndan tamamen kurtaramayabiliriz.
Ama küçük bir alışkanlık geliştirebiliriz.
AI önemli bir cevap verdiğinde hemen “kopyala” tuşuna basmadan önce kendimize soralım: “Bu cevabın yanlış olduğunu gösteren ne olabilir?”
Ardından
-
“Bunu nereden biliyor?”
-
“Kaynak doğrulanabilir mi?”
-
“Benim bildiğimle çelişen bir şey var mı?”
-
“Başka bir sistem veya kaynak aynı sonuca ulaşıyor mu?”
-
“Yanlışsa bunun bedeli nedir?”
Bu soruların hepsini her durumda sormamız gerekmez.
Ama sonuncusu özellikle değerlidir:
Yanlışsa bunun bedeli nedir?
Bedel yükseldikçe insan muhakemesini yeniden devreye sokmak gerekir.
Direksiyonda Kim Var?
Teknolojinin bize sağladığı en büyük kazanımlardan biri bazı zihinsel yükleri makinelerle paylaşabilmemizdir.
-
Navigasyon yönümüzü bulabilir.
-
Hesap makinesi hesaplayabilir.
-
AI binlerce sayfayı özetleyebilir.
-
Algoritmalar seçenekleri azaltabilir.
-
Bunların hepsi insan kapasitesini genişletebilir.
Fakat yardım almakla teslim olmak arasında ince bir çizgi vardır.
Yapay zekâ çağında yeni becerimiz yalnızca makineleri kullanmak olmayacak.
Makinelere ne zaman güvenmememiz gerektiğini bilmek de bir beceri olacak.
Belki geleceğin en önemli sorularından biri “Yapay zekâ ne kadar akıllı olacak?” değildir.
Daha kişisel bir soru olabilir: “Yapay zekâ çok akıllı olduğunda ben kendi muhakememi kullanmaya devam edecek miyim?”
Çünkü iyi teknoloji insana “Bana güven.” dememelidir.
İyi teknoloji insana “Sana yardımcı olabilirim; ama gerektiğinde beni de sorgula.” diyebilmelidir.
Ve belki daha önemlisi: İnsan da bunu yapabilecek zihinsel bağımsızlığı korumalıdır.
Tavsiye Edilen Makaleler
Yapay Zekânın Vicdanı Var mı? Algoritmaların Ahlakı, Suçları ve Sınırları
Tahminlerin Gücü – Yapay Zeka, Yoksa Geleceğimizi mi Şekillendiriyor?
