Meta, Açık kaynaklı LLM olan Code Llama’yı yayınladı

Söylentilere ve ön raporlara uygun olarak , eski adıyla Facebook olarak bilinen Meta Platforms, bugün özellikle programlama için tasarlanmış yeni üretken yapay zeka büyük dil modeli (LLM) Code Llama’yı duyurdu – ve daha genel amaçlı LLaMA 2 gibi , açık kaynak olup ticari kullanım için lisanslanmıştır.

Meta, modelleri duyurduğu blog yazısında Code Llama’nın “araştırma, endüstri, açık kaynak projeleri, STK’lar ve işletmeler de dahil olmak üzere tüm sektörlerdeki yazılım mühendislerini desteklemek üzere tasarlandığını” söylüyor.
Araç, OpenAI’nin Codex’ine (değiştirilmiş bir GPT-3 tarafından desteklenmektedir) , Microsoft’un Codex destekli Github Copilot’una ve Stack Overflow’un OverflowAI’si gibi kodlamaya özgü diğer LLM yardımcılarına hemen büyük bir rakip haline gelir .

Meta, blog yazısında Code LlaMA’nın LLaMA 2’nin kod üretebilen, kodu tamamlayabilen, geliştirici notları ve belgeleri oluşturabilen, hata ayıklama için kullanılabilen ve daha fazlasını yapabilen “koda özel” bir sürümü olduğunu açıklıyor. Python, C++, Java, PHP, Typescript (Javascript), C# ve Bash’i destekler.

Bu benzetmeye dayanarak aile üç ana üyeden oluşuyor: her biri 500 milyar token üzerinde eğitilmiş 7 milyar, 13 milyar ve 34 milyar parametreli model. Daha küçük modeller daha az GPU ile çalışacak şekilde tasarlandı (7 milyarlık model tek bir GPU üzerinde çalışabilir), bu kritik donanımın şu anda az olduğu yönündeki söylenti göz önüne alındığında faydalı bir özellik ve Meta her ikisinin de 34 GPU’dan daha hızlı olduğunu söylüyor. milyarlık büyük model.

Tüm modeller, istemleri için 100.000’e kadar jetonu destekler. Meta’ya göre bu, “kullanıcıların, nesilleri daha alakalı hale getirmek için modele kod tabanlarından daha fazla bağlam sağlayabileceği” anlamına geliyor.

LLaMA genişletilmiş ailesi aynı zamanda iki ince ayarlı model içerir; biri Python için, diğeri Instruct için; ikincisi “doğal dilde faydalı ve güvenli yanıtlar üretmek üzere ince ayarlanmıştır” ve bu nedenle Meta, bu modelin kullanılması gerektiğini söylüyor. doğal dil istemlerinden yeni kod oluşturulurken kullanılabilir. Yani daha güvenli, daha beklenen ve belki de daha az yaratıcı tepkiler verir.

Code LlaMA’yı doğrudan Meta’dan buradan indirebilir ve kaynak kodunu Github’da burada bulabilirsiniz .