Yerli Yapay Zeka Kumru Tanıtıldı! Toplumsal Medyada Gündem Olan Kumru’ya Dair Bilinmeyenler Açıklandı

Dünyayı kasıp kavuran yapay zeka karşısında Türkiye’den de bayrakları asmamızı sağlayacak bir adım geldi! Türk mühendisler tarafından geliştirilen yerli yapay zeka modeli Kumru tanıtıldı, birinci günden büyük ilgi gördü.

VNGRS isimli Türk teknoloji teşebbüsü tarafından geliştirilen yerli yapay zeka Kumru, Meta’nın LLaMA-3 mimarisi temel alınarak tasarlandı ve 7,4 milyar parametreye sahip. yalnızca 16 GB VRAM’e sahip tüketici GPU’larında bile meselesiz formda çalışabilen Kumru, bu sayede büyük teknoloji yatırımlarına gerek kalmadan şirket içi bilgisayarlarda, uygun maliyetle kullanılabiliyor.

Neden (Kumru’ya) bu türlü bir modele gereksinim var?

Türkiye’de bilhassa finans üzere kesimlerde faaliyet gösteren pek çok kurum, bilgi güvenliğine dair regülasyonlar sebebiyle ChatGPT üzere hizmetleri kullanamıyor. Kurum-içi (on-premise) kullanılabilecek açık lisan modellerinden büyük olanların ihtiyaç duyduğu donanım yatırım maliyeti yüksek, küçük olanların ise Türkçe yetenekleri yetersiz zira Türkçe, bu modellerin ana lisanı değil. Biz de buradaki bu açığı doldurmak için, büyük donanım yatırımları gerektirmeden çalışabilecek, ana lisanı Türkçe olan Kumru modelini eğittik.

Kumru, Verdiği Bilgilerde Neden Kusur Yapabiliyor?

Yapay Zeka modellerine dair çözülmesi en kuvvetli sorunlardan biri kusurlu bilgi vermesi, yani halüsinasyonlar. Yapay zeka eğitilirken farklı evrelerden geçiyor ve son kademe olan pekiştirmeli öğrenme (reinforcement learning from human feedback) ile bu halüsinasyonlar en aza indirgeniyor. OpenAI’ın ChatGPT’den evvel 2022 başında sunduğu davinci-001 modeli de pekiştirmeli öğrenme evresinden şimdi geçmemişti ve bu yüzden bol ölçüde halüsinasyon görüyordu. Kumru da, birebir davinci-001 modeli üzere, şimdi pekiştirmeli öğrenme etabından geçmediği için yanılgılı bilgiler verebiliyor.

Model Mimarisi Nedir? Mistral Ne Demek?

Model mimarisi, derin öğrenme (deep learning) modelini oluşturan katmanların (layer) ne tıp olduğunu ve hangi sırayla kullanıldığını tanımlamak için kullanılıyor.

Kumru Matematikte Neden Berbat?

Dil modelleri, söz ve kelimeciklerden (token) oluşan metinleri işler ve üretirler. Bildiklerini ise eğitildikleri devasa metin derlemlerinden istatistiki olarak öğrenirler. Kendi içlerinde bir hesap makinesi düzeneğine da sahip değiller. Tüm bunların sonucu matematik süreçleri yapmayı bilmeyen, lakin neyi bilip bilmediğini de bilmeyen, o yüzden de husus matematiğe gelince çokça yanılgı yapan geveze bir eser.ChatGPT ve gibisi erken modeller de birinci vakitlerde çok fazla matematik yanılgısı yapıyordu. İlerleyen yıllarda gelişmiş pekiştirmeli öğrenme yolları ile mevcut yeteneklerine kavuştular. Kumru da benzeri biçimde pekiştirmeli öğrenme kademesinden geçtikten sonra matematikte daha başarılı olacak.

2 milyar ile 7 milyar ortasındaki fark nedir?

Eğitim verisi, bağlam uzunluğu (context length) ve tokenizer açısından iki model de birebir tıpkı spesifikasyonlara sahip. Tek fark modellerin boyutları. Lisan modellerinin kabiliyetleri ve hafızaları, sahip oldukları parametre sayısıyla paralellik gösterdiği için büyük model daha çok biliyor ve daha hünerli diyebiliriz.

LLaMA üzere bir modeli continual pre-training yapmak yerine neden sıfırdan eğittiniz?

Continual pre-training pek makul bir strateji ve Türkiye’deki pek çok küme da bunu yapıyor. Lakin dezavantajı, yepyeni modelin tokenizer’ının kullanılmasını gerektirmesi. Bu da hem eğitim esnasında, hem de kullanım esnasında metinler işlenirken, Türkçe bir tokenizer’a nazaran daha fazla token harcanması ile sonuçlanıyor. Sonuç olarak modeli eğitme ve kullanma maliyeti ve mühleti 2 katına kadar artıyor.Pre-trained bir modelin embedding matrix’ini ve tokenizer’ını ameliyat edip Türkçe’ye uyarlamak mümkün, ancak bu da sırf bir yere kadar tesirli, ve model ile tokenizer ortasındaki bağı koparmış oluyorsunuz.Biz bunun yerine Türkçe’nin muhtaçlıklarını da göz önünde bulundurarak pretokenization regex’i, kod ve matematik takviyesi de olan ve tüm dizayn kararlarını şuurlu bir biçimde verdiğimiz çağdaş bir Türkçe LLM tokenizer’ı geliştirmeyi ve Kumru’yu bununla eğitmeyi seçtik. Tüm bu adımları baştan sona yapmanın getirdiği deneyime bağlı bilgi birikimi de gayreti.

Kumru’da Hangi Bilgiler Kullanıldı?

İçerikleri Mart 2024 tarihine dek üretilmiş Türkçe web derlem başta olmak üzere wikipedia, haber metinleri üzere literatürdeki datalar ile %5 oranında da İngilizce web ve kod derlemlerini kullandık.

7 milyarlık modeli de açık kaynak yayınlayacak mısınız?

Daha büyük ve multimodal modeller ürettikçe 7 milyarlık versiyondan başlayarak eski modelleri yayınlamayı planlıyoruz.