Bu yazıyı, aşağıdaki videoyla ilgili not düşmek için yazıyorum. Son zamanlarda gördüğüm en keyifli örneklerden birisi.
Burada Ne Oluyor?
Önce bu düşük kaliteli kayıtta ne gördüğümüzü açıklayalım:
Bu videoda, “Joey” rumuzlu bir geliştirici, Samgung Galaxy Watch 4 model bir akıllı saatte bir dil modelini çalıştırmayı başardığını gösteriyor bizlere. Bu gerçekten harika bir şey 🙂 Dikkat! Akıllı saatten internete girerek bir bulut servisine ulaşmaktan bahsetmiyoruz, dil modeli tamamen akıllı saatte çalışıyor. Burada gördüğümüz model, en başarılı açık kaynak modellerden olan Llama 2‘nin özel bir varyantı. Söz konusu varyanta birazdan daha ayrıntılı değineceğiz. Ama önce, bir akıllı saatte bir dil modelinin çalıştırılmasına yeterince şaşırdığımızdan emin olmamız gerek 🙂
Bu Neden Önemli?
Dil modelleriyle ilgili en önemli sınırlılıklardan birisi, bu modellerin işletilmesi (inference) için çok ama çok büyük donanım kaynaklarına ve yazılım optimizasyonlarına ihtiyaç duyuluyor olması [1] [2]. Bu yüzden kullandığımız üretken yapay zeka servislerinin neredeyse tamamını “bulut tabanlı” olarak kullanıyoruz.
Bu da elbette bilgi güvenliği, maliyet, esneklik, başka bir aktöre bağımlı kalma gibi problemleri beraberinde getiriyor. O yüzden “yerel cihazarlarda” bu modellerin koşturulması son derece önemli bir çalışma sahası. Bu tür mimarileri “Edge Computing” kategorisinde düşünebiliriz [3] [4]. Yapay zekanın sosyal hayatı derinden etkileme potansiyeli açısından en umut verici alanlardan birisi de bence bu.
Hikayesi Ne?
Llama 2, Meta AI (Facebook) tarafından açık kaynak olarak geliştirilerek erişime açılan bir dil modeli ailesinin ismi. Açık kaynak dil modellerinin gelişiminde, Llama ve Llama 2 çok büyük bir doping etkisi yarattı. Tüm dünyadan pek çok geliştirici Llama 2 üzerinde çalışıyor. Ama bunlar içinde birisi var ki tüm yapay zeka ekosistemi için yeri ayrı.
Teknik Arka Plan
Videoda gördüğümüz elbette son derece minimalist bir Llama 2 varyantı. Demo’yu yapan geliştiricinin paylaştığı kadarıyla hem 15 milyon hem de 43 milyon parametreli iki model de çalıştırılabiliyor. Perspektif olması açısından, meşhur ChatGPT’nin kullandığı ilk model olan GPT 3.5 tam 175 milyar parametreye sahipti. ChatGPT Plus’ta şu an kullanılan GPT 4 ise (resmi olarak açıklanmasa da) muhtemelen 1.8 trilyon parametreye sahip 🙂 Evet, bu bir “küçük dil modeli” ancak yine de işlevsel. Karpathy’nin Llama2.C’si, TinyStories isimli bir veri seti üzerinde eğitildi.
Bu veri setinin özelliği, küçük dil modelleri için elverişli, basit kelimelere dayalı çocuk hikayelerinden oluşması. Sofistike kelimeler ve gramer yapılarına girmeden, bir modele dil becerileri öğretmek için biçilmiş kaftan. Dolayısıyla örnekte gördüğümüz model, eğitim süresince gördüğü küçük hikayelere benzer hikayeler yazabilme yeteneğine sahip. Videoda net görülmese de Max adımdaki sevimli bir köpek yavrusunun parkta gördüğü yaralı bir kuşa yardım etmek istemesinden, parkta yediği lolipop yüzünden hastalanıp sonra doktora giderek iyileşmesinden bahsediyor 🙂 Olay örgüsü basit olsa da tüm cümleler doğru, anlaşılır ve genel kompozisyonla tutarlı. Bu videoyu etkileyici kılan da bu sonuç.
İşte akıllı saatte çalışan dil modelimizin yazdığı kısa hikayenin tam metni:
Original
Once upon a time, there was a cute little puppy named Max. Max loved to run and play with his toys in the park. One day, Max saw a bird with a broken wing. Max wanted to help the bird, but didn’t know what to do. Suddenly, a big man cameand helped Max. Max was scared at first, but the man was very kind and gave Max a lollipop. Max was happy and licked the lollipop. But then, Max’s tummy started to hurt. He didn’t know why. Max decided to go home and rest. When he got home, his owner gave him some medicine. The medicine tasted sweet and it made Max feel better. From that day on, Max knew that helping others was important and made him feel good inside.
Türkçe Çeviri
Bir zamanlar Max adında sevimli bir köpek yavrusu varmış. Max parkta koşmayı ve oyuncaklarıyla oynamayı çok seviyormuş. Bir gün Max kanadı kırık bir kuş görmüş. Max kuşa yardım etmek istemiş ama ne yapacağını bilememiş. Birden büyük bir adam gelmiş ve Max’e yardım etmiş. Max ilk başta korktuysa da adam çok kibarmış ve Max’e bir lolipop vermiş. Max çok mutlu olmuş ve lolipopu yalamış. Ama sonra Max’in karnı ağrımaya başlamış. Nedenini anlamamış. Max eve gidip dinlenmeye karar vermiş. Eve gittiğinde, sahibi ona biraz ilaç vermiş. İlacın tadı tatlıymışı ve Max’in kendini daha iyi hissetmesini sağlamış. O günden sonra Max başkalarına yardım etmenin önemli olduğunu öğrenmiş bu ona kendisini iyi hissettirmiş.
Gelecek
Dil modellerinin yerel cihazlarda işletilebilmesi, üretken yapay zeka ile gelen sınırsız potansiyelin çok daha demokratik ve pratik biçimde, zaman-mekan bağımsız olarak her an yanımızda olması demek. Dahası, büyük teknoloji şirketlerinin bu alanda tekelleşerek sosyal medyada olduğu gibi sorgulanamaz bir hegemonya kurmasının önündeki en önemli savunma hattı. Akıllı saatlerimiz, telefonlarımız ve bilgisayarlarımızda dil modellerimiz üzerinde tam kontrole sahip olduğumuzda, “özgür” bir yapay zeka deneyimi de bizi bekliyor olacak.
Bu İçeriği Paylaş:
