متا رقیب گیت هاب کوپایلت خودش را - به صورت رایگان - منتشر کرد!

متا (Meta) به طور رسمی مدل Code Llama را معرفی کرده است، که یک مدل بازمتن برای تکمیل، تولید و آزمایش کد است که می‌تواند بر روی سخت‌افزار محلی اجرا شود و با ChatGPT رقابت کند.

 

این مدل به صورت رایگان برای تحقیقات و استفاده تجاری در دسترس قرار گرفته است و در تعدادی نسخه مختلف برای بیشترین تطابق با نیازهای کاربر عرضه می‌شود. این مدل قادر است خطوط کد یا تکمیل کد را در زبان‌هایی نظیر پایتون، C++، جاوا و Bash تولید یا تکمیل کند.

Code Llama نسخه‌ای ویژه از مدل LLM رایگان Llama 2 از متا است و با تمرین اضافی مبتنی بر 500 میلیارد توکن از کد و داده‌های برنامه‌نویسی ایجاد شده است.

این مدل در سه اندازه پارامتر مختلف در دسترس است:

• 7 میلیارد (7B)
• 13 میلیارد (13B)
• 34 میلیارد (34B)

متا اعلام کرده است که در حالی که مدل 34B دقیق‌ترین مدل است، مدل‌های 7B و 13B سرعت بیشتری دارند و می‌توانند برای نیازهای با تاخیر کمتر نظیر تکمیل کد به صورت Real-Time مفیدتر باشند.

مدل Code Llama 34B در مجموعه داده بنچمارک HumanEval با دقت 48.8٪ عملکرد داشت، این عملکرد بهتر از 30.5٪ مدل پایه Llama 2 و بهبود خفیفی نسبت به 48.1٪ امتیاز مدل GPT-3.5 شرکت OpenAI بود، که پایه ChatGPT است.

همه مدل‌ها هنوز هم نسبت به مدل GPT-4 شرکت OpenAI که قادر به تولید کد در گستره‌ای از زبان‌های برنامه‌نویسی است و مدل پایه Copilot X می باشد، کمی کمبود دارند.

علاوه بر تنوع اندازه‌های مدل Code Llama، متا دو مدل کمی تنظیم شده به نام‌های 'Code Llama - Python' و 'Code Llama - Instruct' را عرضه کرده است.

مدل اول بر اساس مجموعه داده وسیعی از 100 میلیارد توکن خاص پایتون تنظیم شده است تا اطمینان حاصل شود که به خصوص در تولید کد در این زبان دقیق باشد.

متا اعلام کرده است که این مدل به دلیل محبوبیت زیاد زبان پایتون در جامعه هوش مصنوعی، به طور گسترده‌ای بنچمارک شده است و پایه فریم ورک یادگیری ماشین (ML) متن باز(open-source) Pytorch است.

مدل Llama - Instruct با آموزش بر روی 5 میلیارد توکن برای تنظیم دقیق برای ورودی زبان طبیعی(Natural Language) آماده شده است و این مدل توصیه شده از سوی متا برای کاربرانی است که می‌خواهند پاسخ یا کد بر اساس سوالات در متن ساده تولید کنند، همانطور که با ابزاری مانند ChatGPT انجام می‌دهند.

اگرچه مدل عمومی Llama 2 می‌تواند به همین شیوه استفاده شود، اما در پاسخ به کدها دقت کمتری دارد زیرا مانند Code Llama به طور دقیق برای این کار تنظیم نشده است.

مدل 7B همچنین می‌تواند بر روی یک واحد پردازش گرافیکی (GPU) تکی اجرا شود، اگرچه متا نیازمندی‌های سخت‌افزاری حداقل برای دستیابی به این امکان را مشخص نکرده است.

مهندس نرم‌افزار آنتون باکاج ویدئویی منتشر کرده است که در آن مشاهده می‌شود که Code Llama قادر به پردازش تولید کد با نرخ 49 میلی‌ثانیه بر توکن است، که بر روی چهار جی پی یو Nvidia RTX 3090 اجرا می‌شود.

این موضوع می‌تواند برای برنامه‌نویسانی که می‌خواهند از مدل برای تولید، آزمایش یا تکمیل کد بر اساس داده‌های حساس یا اطلاعات مخصوص استفاده کنند، مفید باشد.

اگرچه این نیازمند سرمایه‌گذاری اولیه در سخت‌افزار است، شرکت‌های کوچک ممکن است این هزینه را با اشتراک‌های خدمات نظیر ChatGPT Plus یا Copilot X مقایسه کنند.

متا منشأ برخی از داده‌های مورد استفاده برای تربیت(training) Llama 2 را اعلام نکرده است، که می‌تواند منجر به اقدامات قانونی تحت قوانینی نظیر قانون AI اتحادیه اروپا شود، اگر در آینده مشخص شود که کد تولیدی بر اساس داده‌های دارای کپی رایت تولید شده است.

پیشتر، نسخه قبلی LLaMA در مارس 2023 در اینترنت درز کرده بود و برخی از هکرها خواستار ذخیره آن در بیت‌کوین برای دسترسی آسان و ناشناس شدند. برخی از متخصصان نگرانی‌هایی را مطرح کرده بودند که در دستان نادرست، LLaMA می‌تواند به افزایش جرائم سایبری منجر شود.

برخلاف LLaMA، مدل Llama 2 و Code Llama به طور رایگان و خارج از محیط دانشگاهی در دسترس هستند. متا اعلام کرده است که Code Llama مورد آزمایش‌های اضافی قرار گرفته است تا خروجی‌های مخرب را از بین ببرد.

“As with all cutting edge technology, Code Llama comes with risks. Building AI models responsibly is crucial, and we undertook numerous safety measures before releasing Code Llama.

As part of our red teaming efforts, we ran a quantitative evaluation of Code Llama’s risk of generating malicious code. We created prompts that attempted to solicit malicious code with clear intent and scored Code Llama’s responses to those prompts against ChatGPT’s (GPT3.5 Turbo). Our results found that Code Llama answered with safer responses.”