BBC: Yapay zeka sohbet robotları haberleri doğru bir şekilde özetleyemiyor

BBC, OpenAI'nin ChatGPT'sine, Microsoft'un Copilot'una, Google'ın Gemini'sine ve Perplexity AI'ya BBC web sitesinden içerik verdi ve ardından onlara haberlerle ilgili sorular sordu.

Sonuçların “önemli yanlışlıklar” ve çarpıtmalar içerdiğini söyledi.

BBC News and Current Affairs CEO'su Deborah Turness bir blog yazısında, AI'nın “sonsuz fırsatlar” getirdiğini ancak araçları geliştiren şirketlerin “ateşle oynadığını” söyledi.

“Sıkıntılı zamanlarda yaşıyoruz ve AI tarafından çarpıtılan bir başlığın gerçek dünyada önemli bir zarara yol açması ne kadar sürecek?” diye sordu.

Sohbet robotlarına sahip olan teknoloji şirketlerine yorum için başvuruldu.

Çalışmada BBC, ChatGPT, Copilot, Gemini ve Perplexity'den 100 haber hikayesini özetlemesini ve her cevabı derecelendirmesini istedi.

Makalenin konusuyla ilgili uzman olan gazetecilerden AI asistanlarının verdiği cevapların kalitesini derecelendirmelerini istedi.

Haberlerle ilgili sorulara verilen tüm AI cevaplarının %51'inin bir şekilde önemli sorunlar içerdiği sonucuna varıldı.

Ayrıca, BBC içeriğine atıfta bulunan AI cevaplarının %19'unda yanlış gerçek ifadeler, sayılar ve tarihler gibi gerçek hatalar yer aldı.

Deborah Turness blogunda BBC'nin “AI teknoloji sağlayıcılarıyla yeni bir konuşma başlatmayı” amaçladığını, böylece “çözümler bulmak için ortaklık içinde birlikte çalışabileceğimizi” söyledi.

Teknoloji şirketlerini, Apple Intelligence'ın haberleri yanlış sunduğu yönündeki BBC'den gelen şikayetlerin ardından Apple'ın yaptığı gibi AI haber özetlerini “geri çekmeye” çağırdı.

Raporda, gerçeklere dayalı yanlışlıkların yanı sıra, sohbet robotlarının “görüş ile gerçek arasında ayrım yapmakta zorlandığı, editoryal içerikler ürettiği ve genellikle temel bağlamı dahil etmekte başarısız olduğu” belirtildi.

BBC'nin Üretken Yapay Zeka Program Direktörü Pete Archer, yayıncıların “içeriklerinin kullanılıp kullanılmayacağı ve nasıl kullanılacağı konusunda kontrol sahibi olmaları gerektiğini ve yapay zeka şirketlerinin asistanların haberleri nasıl işlediğini ve ürettikleri hata ve yanlışlıkların ölçeğini ve kapsamını göstermesi gerektiğini” söyledi.

SANAYİ HABER AJANSI