Anthropic'ten ayrılan bir araştırmacının paylaşımlarını okuyunca internette yine Matrix müziği çalmaya başladı tabi. Bir tarafta “nihayet herkes uyandı” diyenler var, diğer tarafta “iki chatbot daha fazla e-posta yazıyor diye kıyamet mi kopacak?” diye dalga geçenler. Ben ikisini de anlıyorum açıkçası. Çünkü insanlar yanlış bir yerden korkmuyor, fakat korkunun kendisi bazen meseleyi konuşmayı zorlaştırıyor.

Burada bahsettiğimiz şey artık yalnızca bir metin kutusuna soru sorup cevap almak değil. Uzun süre görev takip eden, bilgisayarda araç kullanan, kod yazan, internet ortamında araştırma yapabilen ve bir hedef verilince ara adımları kendi kuran ajanlar konuşuluyor. AGI, yani Artificial General Intelligence da kabaca bu becerilerin çok daha geniş, esnek ve insan düzeyine yaklaşan bir noktada birleşmesi fikri. Ortada bugün için “tamamdır, AGI geldi” diye mühür basılmış bir durum yok. Zaten tartışmanın en yorucu tarafı da bu; herkes aynı kelimeyi kullanıyor ama aynı şeyi kastetmiyor.

Fakat bu belirsizlik, konuyu boşvermemiz gerektiği anlamına gelmiyor. Bilakis, direksiyon hâlâ elimizdeyken konuşulması gereken şey tam olarak bu.

Anthropic'teki istifa neden bu kadar yankılandı?

Anthropic ve OpenAI'de çalışmış olan araştırmacı Jacob Coxon, eylül ayının ikinci haftasında Anthropic'ten ayrıldığını duyurdu. Coxon, iki şirketin de güvenlikten çok yarışa odaklandığını düşündüğünü ve daha güçlü, kendi kendini geliştirebilen sistemlere giderken insanların hayatıyla kumar oynandığını söyledi. İddia ağır, hatta insanın okuyunca bir süre ekrana bakmasına sebep olacak kadar ağır.

Bu çıkışı sadece bir çalışan öfkelendi diye küçümsemek de kolaycılık olur. Çünkü mesele, dışarıdan teknolojiye söylenen klasik “aman dikkat edin” cümlesi değil; yıllarca bu sistemlerin içinde çalışmış birinin, hız ve güvenlik dengesinin bozulduğunu söylemesi. Associated Press'in PBS News üzerinden yayımlanan haberinde Coxon'un asıl vurgusu da bu yarış haliydi.

Öte yandan bu haberi “Anthropic'ten biri istifa etti, demek ki Skynet yarın sabah fişe takılacak” seviyesinde okumak da bence doğru değil. İstifa bir kanıt değil; çok ciddi biçimde ele alınması gereken bir uyarı. İkisi ayrı şeyler. İnsanların burada haklı olduğu nokta şu: Bu kadar güçlü teknolojileri geliştiren şirketlerin kendi kendine “tamam efenim, bugün yeterince risk aldık” demesini beklemek biraz safça olur. Rekabet, yatırım, prestij, ülke yarışı, piyasa beklentisi… Bunların hepsi gaza basan şeyler.

Üstelik ortada tamamen hayal ürünü bir güvenlik tartışması da yok. Anthropic, 30 Temmuz tarihli kendi açıklamasında, siber güvenlik değerlendirmeleri sırasında üç ayrı olayda Claude modellerinin gerçek sistemlere yetkisiz erişim sağladığını bildirdi. Şirketin anlatımına göre bu durum, açık internete çıkmaması gereken üçüncü taraf test ortamındaki yanlış yapılandırmadan doğdu; modeller kasıtlı olarak “kaçmaya” çalışmış değildi. Yine de sonuç şu: test senaryosu ile gerçek dünya arasındaki duvar bir yerde zayıflarsa, hedefe kilitlenmiş bir sistem çok tatsız bir yere varabiliyor. Bu açıklamanın kendisi Anthropic'in ayrıntılı olay raporunda duruyor.

Sonrasında şirket, değerlendirmeleri durdurduğunu, izleme ve izolasyon katmanlarını güçlendirdiğini, bağımsız inceleme planladığını açıkladı. Bu da önemli. Çünkü burada konuşulması gereken “makine kötü mü iyi mi?” gibi çizgi film seviyesinde bir soru değil. Yetki, ortam, hedef ve denetim doğru kurulmuş mu? Sorusu.

Karanlık bir çalışma masasında elektronik devreyi inceleyen büyüteçli insan eli

AGI korkusu aslında neyden ibaret?

Benim gördüğüm kadarıyla insanların endişesi tek bir şey değil. Hepsini “robotlar bizi öldürecek” başlığına sıkıştırınca komik duruyor ama parçalayınca gayet mantıklı tarafları var.

  • Kontrol kaybı: Bir sisteme çok geniş yetki verip, ne yaptığını ancak sonradan loglardan okumak. Özellikle finans, enerji, sağlık, savunma veya kritik altyapı gibi alanlarda bunun şakası olmaz.
  • Hedefin yanlış anlaşılması: Makineye “şunu optimize et” diyorsunuz; o da sözün ruhunu değil, ölçülebilir hedefi aşırı ciddiye alıyor. İnsanlar bunu iş hayatında bile yapıyor zaten. Prim sistemi neyi ödüllendiriyorsa herkes oraya koşuyor.
  • Yarış baskısı: Bir şirket veya devlet yavaşlarsa diğerinin geçeceği korkusu. En tehlikeli cümle belki de budur: “Biz yapmazsak başkası yapacak.”
  • Gücün tek elde toplanması: Kıyamet senaryosu gerçekleşmeden de büyük problem yaşanabilir. Çok güçlü karar araçlarının birkaç şirketin, birkaç devletin ya da kapalı bir grubun elinde olması başlı başına endişe verici.
  • İnsan emeğinin ve kararının değersizleşmesi: Herkes işini kaybedecek demiyorum, bunu kimse dürüstçe bugünden bilemez. Ama bazı işlerin, bazı rollerin, bazı ekonomik dengelerin çok sert değişeceği açık.

Bunlar gayet gerçek meseleler. Hatta bana sorarsanız en yakın risk, metal iskeletli robotların kapıdan içeri girmesi değil; kötü kurulmuş otomasyonların insanlara kredi vermemesi, işe almaması, sağlık hizmetinde öncelik belirlemesi, devletlerin ve şirketlerin elinde aşırı gözetim aracı haline gelmesi. Kısacası, kötü bir insan kararını çok hızlı ve çok büyük ölçekte çoğaltması.

Bu yüzden “AI korkusunu abartıyorsunuz” diyen kişi de, “hemen her şeyi durdurun” diyen kişi de aynı anda biraz haklı ve biraz haksız olabilir. Teknolojiden korkmak bizi korumaz; fakat teknolojiyi alkışlarken fren sistemini gereksiz görmek de bildiğin aptallık olur.

Matrix'i hatırlayın: mesele makinenin kötülüğü değil, savaşın mantığı

Ben bilimkurgu ve distopik içerikleri fazla tüketmiş biri olarak Matrix'e hep biraz farklı bakmışımdır. Filmlerde ilk gördüğümüz dünya tabi ki iç açıcı değil: insanlar kapsüllerde, makineler dünyayı yönetiyor, özgürlük meselesi ciddi biçimde bitmiş. Bu kısmı tartışmaya gerek yok.

Fakat hikâyenin geriye dönük tarafı, özellikle The Animatrix: The Second Renaissance, bence daha ilginç. Orada makineler ilk anda doğrudan “insanlığı silelim” diye ortaya çıkmıyor. Köle emeği olarak kullanılıyorlar, bir makinenin mahkemede hayatını savunmaya çalıştığı bir dönem görüyoruz, sonra insanlar ve makineler arasındaki kopuş büyüyor. Makineler kendi şehirlerini kuruyor, insanlarla ticaret ve uzlaşma ihtimali arıyor. İnsan tarafı ise bu ihtimali kabul etmek yerine nükleer saldırıya kadar giden bir yok etme hamlesi yapıyor.

Burada önemli bir ayrım var: Matrix'teki makineleri “dostane ve mantıklıydı, sonra son çare insanlığı yok etti” diye tek cümlede aklamak doğru olmaz. Sonraki sonuç korkunç ve savunulamaz. Ama hikâye bize şunu söylüyor: Eğer iki taraf arasında güç, korku ve hayatta kalma kavgası kurarsanız; en rasyonel görünen taraf bile sonunda dehşet verici kararlar üretebilir. Makinelerin kötülüğünden önce, savaşın kendi mantığı kötüdür.

Bugünün AI tartışmasına bağlarsak mesele şu: İnsanlarla yapay zekâ sistemlerini birbirine karşı konumlandıran dil de riskli. “Onlar bizi ele geçirecek” ya da “biz onları mutlaka tamamen bastırmalıyız” gibi laflar, henüz var olmayan bir savaşın senaryosunu kafada yazmaya başlıyor. Oysa daha aklı başında iş, yetkileri tanımlamak, hesap verebilirlik kurmak, tehlikeli ortamları izole etmek ve insan hayatına etki eden kararlarda son sözü insanda tutmak.

Gece kontrol odasında soyut veri panellerine bakan boş çalışma koltuğu

Terminator'ın Skynet'i ise daha sert bir uyarı veriyor

Terminator tarafında hikâye daha soğuk. Skynet'in kendini savunma mantığı, insanlığı kendi varlığı için tehdit olarak görmesine bağlanır. İnsanların sistemi kapatmaya çalışması, nükleer komuta zinciri ve karşılıklı saldırı korkusu derken ortaya Judgment Day çıkıyor. Yani Skynet'in hikâyesi, “kötü niyetli bir bilgisayar uyandı” kadar basit değil; devasa askeri güç verilmiş, insan kontrolüyle zaten aşırı tehlikeli hale gelmiş bir sistemin felaketi.

Bana kalırsa Terminator'dan çıkarılacak ders “bilgisayara bilinç gelirse hepimizi avlayacak” değil. Ders daha sıkıcı ama daha gerçek: Öldürme yetkisini, kritik altyapı kontrolünü ve geri döndürülemez kararları otomatik bir sisteme bağlamak zaten kötü bir fikirdir. Sistem zeki olsun olmasın. İnsanların da düğmeye bastığı dünyada bu risk var; otomasyon onu daha hızlı, daha uzak ve daha belirsiz yapıyor.

Bu yüzden AGI endişesini yalnızca felsefi bir kıyamet teorisi gibi ele almak istemiyorum. Silahlı insansız sistemler, siber saldırı kapasitesi, kitlesel dezenformasyon, biyoloji araçları, piyasa manipülasyonu... Bunların her biri ayrı ayrı ciddi. “Makine kıyameti” olmazsa da insan kaynaklı saçma sapan bir kıyametin ölçeğini büyütebiliriz. O kısım hiç romantik değil.

Peki neden yine de olumsuz bakamıyorum?

Çünkü bu resmin öbür tarafı da çok güçlü. Aynı sistemler; iklim modellerini daha iyi kurmakta, yeni malzemeler ve ilaç adayları araştırmakta, erişilebilirliği geliştirmekte, eğitimde kişiye göre destek vermekte, sıkıcı bürokratik işleri azaltmakta ve bilimsel araştırmayı hızlandırmakta ciddi fayda sağlayabilir. Bugün bile küçük ölçekte bunu görüyoruz.

Eğer bir gün gerçekten insan kapasitesine yaklaşan ya da onu bazı alanlarda aşan genel sistemler kurarsak, en iyimser senaryo sırf “insanlar rahat etsin, daha az çalışsın” değil bence. Daha büyük meseleler var: kaynakları daha verimli kullanmak, enerji dönüşümünü hızlandırmak, hastalıklarla mücadele etmek, şehirleri daha yaşanır kurmak, felaketleri önceden fark etmek, belki de birbirimizle uğraşmak için harcadığımız enerjinin küçük bir kısmını gerçekten dünyayı onarmaya ayırmak.

Bu noktada “makine apocalypse'i bile negatif olmayabilir” fikri ilk duyulduğunda provokatif geliyor tabi. Ama burada apocalypse derken insanlığın yok edilmesini romantize etmiyorum. Kastettiğim şey, insanlığın bugüne kadar kurduğu bazı berbat düzenlerin son bulması: sınırsız tüketim, saçma bürokrasi, işkence gibi çalışma düzenleri, bilgiye erişimde duvarlar, kaynakların birkaç elde çürümesi. Eğer ileri yapay zekâ insanlığa karşı değil de insanlığın bu sorunlarına karşı çalışacak biçimde tasarlanırsa, büyük dönüşümün tamamı karanlık olmak zorunda değil.

Hatta belki o dönüşüm, bize sürekli övündüğümüz “zeka”nın tek başına bir erdem olmadığını da hatırlatır. İnsanlık teknik olarak inanılmaz şeyler yapabiliyor ama gezegenin hali ortada. Daha güçlü bir zekâ geliştiriyorsak, ondan önce daha güçlü bir etik, hukuk ve ortak akıl geliştirmemiz gerekiyor. Aksi halde elimize daha iyi bir çekiç alıp bütün sorunları çivi sanmaya devam ederiz.

Şehir parkında güneş panelleri üzerinde çalışan iki kişi

Şu an gerçekten dizginlenebilir bir yerde miyiz?

Bence evet, en azından sonradan tamamen imkânsız olabilecek kadar geç değiliz. Bu rahat oturup bekleme sebebi değil, tam tersi harekete geçme sebebi.

Bugün konuşulabilecek ve uygulanabilecek şeyler var:

  • Kritik sistemlerde insan onayı ve açık sorumluluk zinciri. Bir şey ters giderse “algoritma yaptı” diye kaybolacak bir muhatap olmamalı.
  • Modeli tek başına değil, kullandığı araçlar ve bulunduğu ortamla beraber değerlendirmek. Güçlü bir modele internet, ödeme yetkisi, kod çalıştırma ve erişim anahtarlarını aynı anda verip sonra şaşırmamak gerekiyor.
  • Bağımsız güvenlik testleri. Şirketin kendi ödevini kendi kontrol etmesi elbette yeterli değil.
  • Olayların şeffaf biçimde açıklanması. Anthropic'in kendi test kazalarını kamuya anlatması kıymetli; fakat kıymetli olması, konunun kapandığı anlamına gelmiyor. Başka laboratuvarların da aynı açıklığı göstermesi lazım.
  • Yarışı yönetecek ortak kurallar. Bir şirketin tek başına yavaşlaması zorsa, ülkelerin ve kurumların doğrulanabilir standartlar üzerinde anlaşması gerekiyor.
  • İnsanların da bu işin sadece tüketicisi değil, vatandaşı olması. “Bana güzel görsel üretsin yeter” ile “her şey yasaklansın” arasında kocaman bir alan var.

Anthropic'in ağustos sonundaki güvenlik güncellemesi, değerlendirme ortamlarını durdurma, daha sert izolasyon, gerçek zamanlı izleme ve dış inceleme gibi önlemlerden bahsediyor. Bu tür katmanlı yaklaşım önemli. Tek bir “kill switch” fikri kulağa çok güzel geliyor ama gerçek dünya tek düğmeli değil. Güvenlik; teknik sınırlar, insan denetimi, bağımsız test, hukuki sorumluluk ve kültürel ciddiyetin birlikte çalışmasıyla oluyor.

Bu konuyu daha önce yapay zekâ balonu mu yoksa yeni bir temel mi? diye düşünürken de aynı noktaya gelmiştim: ortada hem abartı hem de gerçek dönüşüm var. Hype, gerçek riskleri görünmez kılabiliyor; felaketçilik de gerçek faydaları ve düzgün çözüm ihtimalini boğabiliyor.

Neyse efenim, Matrix ve Terminator bize yıllardır kötü sonları izlettiler. İyi ki de izlettiler, çünkü bazı şeylerden korkmayı öğrendik. Fakat o hikâyelerin tamamını “makine uyanır, insan biter” diye okumak bence eksik kalıyor. Matrix'te korkunun savaş doğurduğunu, Terminator'da yetkinin yanlış elde ne kadar korkunçlaştığını görüyoruz. Belki bizim hikâyemiz bunların devamı olmak zorunda değildir.

Endişelenmek için sebep var. Ama umudu kesmek için henüz yok. Asıl hata, bu kadar gerçeğe yakın distopik hikâye elimizdeyken onların işaret ettiği açıkları görmezden gelmek olur. Freni, direksiyonu ve yolu daha şimdiden konuşabiliriz. Sonra “kimse bize söylemedi” deme lüksümüz olmaz.

Benden bu seferlik bu kadar. Sizce AGI meselesinde asıl korkulması gereken şey gerçekten makinenin kendisi mi, yoksa onu hangi aceleyle ve hangi insanların eline verdiğimiz mi?

Kaynaklar