Alibaba, OpenAI’nin GPT-o1’ini Almak İçin QwQ-32B Akıl Yürütme Odaklı Yapay Zeka Modelini Önizlemede Yayınladı

Alibaba Perşembe günü, mantık yeteneği açısından OpenAI’nin GPT-o1 serisi modellerine rakip olacağı söylenen yeni bir yapay zeka (AI) modelini yayınladı. Önizleme aşamasında başlatılan QwQ-32B büyük dil modelinin (LLM), çeşitli matematiksel ve mantıksal akıl yürütmeyle ilgili kıyaslamalarda GPT-o1 önizlemesinden daha iyi performans gösterdiği söyleniyor. Yeni yapay zeka modeli Hugging Face’ten indirilebiliyor ancak tamamen açık kaynaklı değil. Yakın zamanda başka bir Çinli yapay zeka firması, ChatGPT üreticisinin akıl yürütme odaklı temel modellerine rakip olduğu iddia edilen açık kaynaklı bir yapay zeka modeli DeepSeek-R1’i piyasaya sürdü.

Alibaba QwQ-32B Yapay Zeka Modeli

Bir blog yazısında Alibaba, yeni muhakeme odaklı LLM’yi detaylandırdı ve yeteneklerini ve sınırlamalarını vurguladı. QwQ-32B şu anda önizleme olarak mevcuttur. Adından da anlaşılacağı gibi 32 milyar parametre üzerine kuruludur ve 32.000 tokenlik bir bağlam penceresine sahiptir. Model hem eğitim öncesi hem de eğitim sonrası aşamaları tamamlamıştır.

Mimarisine gelince Çinli teknoloji devi, yapay zeka modelinin transformatör teknolojisine dayandığını ortaya çıkardı. Konumsal kodlama için QwQ-32B, Anahtarlamalı Doğrusal Birim (SwiGLU) ve Ortalama Karekök Normalleştirme (RMSNorm) fonksiyonlarının yanı sıra, Dikkat Sorgu-Anahtar-Değer Sapması (Attention QKV) sapması ile birlikte Döner Konum Gömmeleri (RoPE) kullanır.

Tıpkı OpenAI GPT-o1 gibi, AI modeli de bir kullanıcı sorgusunu değerlendirirken ve doğru yanıtı bulmaya çalışırken kendi dahili monologunu gösterir. Bu dahili düşünce süreci, QwQ-32B’nin çeşitli teorileri test etmesine ve nihai cevabı sunmadan önce kendisinin doğruluğunu kontrol etmesine olanak tanır. Alibaba, LLM’nin dahili testler sırasında MATH-500 değerlendirmesinde yüzde 90,6 ve AI Matematiksel Değerlendirme (AIME) değerlendirmesinde yüzde 50 puan aldığını ve OpenAI’nin akıl yürütme odaklı modellerinden daha iyi performans gösterdiğini iddia ediyor.

Özellikle, daha iyi akıl yürütmeye sahip yapay zeka modelleri, modellerin daha akıllı veya yetenekli hale geldiğinin kanıtı değildir. Bu, test süresi hesaplaması olarak da bilinen ve modellerin bir görevi tamamlamak için ek işlem süresi harcamasına olanak tanıyan yeni bir yaklaşımdır. Sonuç olarak yapay zeka daha doğru yanıtlar verebilir ve daha karmaşık soruları çözebilir. Endüstrinin duayenlerinden bazıları, yeni LLM’lerin eski versiyonlarıyla aynı oranda gelişmediğine dikkat çekerek, mevcut mimarilerin bir doyum noktasına ulaştığını öne sürüyor.

QwQ-32B, sorgular üzerinde ek işlem süresi harcadığından çeşitli sınırlamalara da sahiptir. Alibaba, yapay zeka modelinin bazen dilleri karıştırabildiğini veya diller arasında geçiş yaparak dil karıştırma ve kod değiştirme gibi sorunlara yol açabildiğini belirtti. Aynı zamanda muhakeme döngülerine girme eğilimindedir ve matematik ve muhakeme becerileri dışında diğer alanlarda hala iyileştirmeler gerekmektedir.

Alibaba’nın Hugging Face listesi aracılığıyla yapay zeka modelini kullanıma sunması dikkat çekicidir ve hem bireyler hem de şirketler bu modeli Apache 2.0 lisansı kapsamında kişisel, akademik ve ticari amaçlarla indirebilir. Ancak şirket model ağırlıklarını ve verilerini kullanıma sunmadı; bu da kullanıcıların modeli kopyalayamayacağı veya mimarinin nasıl çalıştığını anlayamadığı anlamına geliyor.