CLM-8B жақында шығарылды: агенттер үшін Jev-тен 9 есе жылдам деп мәлімдейтін жаңа ашық жасанды интеллект моделі

Қысқа жауап: CLM-8B - агенттердің жылдам шешімдеріне бағытталған ашық контрастивті тіл моделі , авторлардың айтуынша, Jev класындағы әріптестеріне қарағанда кідіріс шамамен 9 есе төмен. Бұл сандар шығарылым параметрлерінен тыс расталмаған. Егер сіз кодтау агенттерін құрсаңыз, диаграммаларға сенбес бұрын оны өз қолыңызбен жасаңыз.

Негізгі қорытындылар:

Кідіріс туралы шағымдар: ~9× Jev жылдамдығын басқалар қайталағанша, оны автор хабарлағандай қарастырыңыз.

Бағалау белдігі: A/B CLM-8B сынақтан өткізген кезде құралдар мен нұсқауларды бекітілген күйде ұстаңыз.

Гибридті стек: ыстық циклдар үшін CLM пайдаланыңыз; жаңа тапсырмалар үшін баяу ойлауды сақтаңыз.

Ашық салмақтар: Коммерциялық шанышқыларды жібермес бұрын Apache лицензия файлдарын растаңыз.

Дұрыс пайдаланбау қаупі: Агенттер миллисекундпен шешім қабылдаған кезде қайтымды құралдар мен құпияларды ашыңыз.

CLM-8B не болуға тырысады⚡

Бұл төмендеуді насихаттайтын адамдар сипаттағандай, қарама-қарсы тіл моделін оқыту келесі таңбалауыштың ықтималдығын оқшауланған түрде барынша арттырудың орнына күйлер мен әрекеттерді байланыстыруға бағытталған. Анық тілмен айтқанда: модель «жағдай міне» дегенді «қозғалыс міне» дегенге сәйкестендіруге итермелейді, бұл романшыдан гөрі саясаткерге көбірек ұқсайды. Бұл 1-жүйенің зерттеушілері іздейтін - жылдам, ассоциативті, шешім тәрізді - аналогиясы, 2-жүйенің дауыстап ойлап, таңбалауыштарды өртейтін ұзын ой тізбегінің тенорынан айырмашылығы.

CLM-8B - бұл желідегі алғашқы қоғамдық салмақ. Ол Apache 2.0 лицензиясымен ашық зерттеу нұсқасы ретінде орналастырылған , бұл төмендеумен бірге жүретін қамтуды жақсарту, жеткізу немесе адвокаттық пикниксіз айырбастау үшін маңызды. Джеки Квок жұмысты таныстырды; Стэнфордпен байланысты Азалия Мирхосейни оны күшейтті; ал кеңірек құрылым Стэнфорд пен NVIDIA-мен байланысты командалық жұмысты бейнелейді. Аталған зерттеушілер, қоғамдық салмақтар, ашық код - жасырын ақпараттың таралуы емес. Үшінші тараптың көшірмесін жасау әлі ерте, сондықтан күмәндануды «қызықты» және «маған тәуелсіз кеңесті көрсетіңіз» арасындағы жерде сақтаңыз.

Өлшем класы сегіз миллиард параметрді құрайды, бұл зертханалар мен тәуелсіз құрастырушылар оны H100 уақытқа бүйрек сатпай-ақ орналастыра алатындай кішкентай. CLM-35B- жалғасы туралы әңгіме қазірдің өзінде жүріп жатыр. Бұл үлкен бауырлас кідіріс тарихын сақтай ма, әлде жылдамдықты тереңдікке айырбастай ма, әлі белгісіз, бірақ жол картасының белгісі айқын: бұл бір реттік демо карта емес, отбасы үшін арналған.

•  Назар: күй → эссе жазу үшін емес, агенттер үшін әрекет циклдары
•  Лицензиялау шығарылымға қатысты Apache 2.0 ретінде қарастырылған
•  Стиль: 1-жүйе / шешім қабылдауға бағытталған оқыту әңгімесі
•  Келесі: жоспар ретінде аталған үлкенірек CLM-35B

1-жүйе стилі мен әдеттегі токен жүгіру жолы арасындағы айырмашылық 

Сіз білетін өндірістік LLM-дердің көпшілігі мәтінді бір-бірден жасайды. Бұл проза, кодты өңдеу және мұқият ойлау іздері үшін өте жақсы жұмыс істейді. Сондай-ақ, минутына жиырма микрошешім қажет ететін агент модель «ақылды» болған кезде де баяу сезінуі мүмкін. Әрбір қадам авторегрессивті салық төлейді.

Қарама-қарсы тіл моделінің ұсынысы екпінді өзгертеді. Желіден жауапқа айналдыруды сұраудың орнына, сіз оны берілген күйдегі дұрыс әрекетті қалайтындай етіп жаттықтырасыз - тек еркін жалғасуларды емес, жақсы және жаман әрекеттер арасындағы қарама-қарсылық тартуларды ойлаңыз. Құрылысшылар бұл үлгіні біледі: кейде сізге мың сөзден тұратын негіздеме қажет емес; сізге модель rm -rf орнына pytest теруі керек . Жылдам циклдар бұл айырмашылықты ескереді.

Мұның ешқайсысы CLM-8B мәтін шығара алмайды дегенді білдірмейді. Бұл оқыту мақсаты мен бағалау оқиғасының агенттік бақылауға бағытталғанын білдіреді. Бұл «құралдарды шақыра алатын чат моделінен» өзгеше өнім формасы. Сала модельдерді құралдар туралы жақсырақ айтуға және сөйлеудің өзіне кедергі келтіруге жылдар жұмсады. Шешім қабылдау моделі - бұл кейіннен айқын көрінетін немесе эталондар шатасқан кезде сәтсіздікке ұшырайтын көлденең қозғалыс түрі. Екі нәтиже де мүмкін.

Мәлімделген жылдамдық және орындық сандары (мәліметтер ретінде қарастырыңыз)

Әлеуметтік желілердегі жазбаларды қозғайтын бөлік мынада: промоутерлер Jev класты модельдерге қарағанда шамамен 9 есе жылдам қорытынды. Жеңіл баптаудан кейін олар агенттік кодтаудың күшті нәтижелерін де хабарлайды - DeepSWE шамамен 81,6% табысқа және Terminal-Bench 2.1 шамамен 87,6% табысқа жетті. Кейбір бағалауларда олар нөлдік шот өнімділігін Jev-пен салыстыруға болады деп сипаттайды, ал кідіріс әлдеқайда төмен болып қалады. Бір кластердің қорытындысында шығарылым туралы әңгімемен бірге қалқып жүрген терминалдық стенд параметрінде шамамен 32 мс класты жауап беру уақыты келтірілген. Мұқият сөйлем: хабарланған және мәлімделген, бұл мақалада тәуелсіз аудиттелмеген.

Егер бұл кідіріс көрсеткіштері жалпыланса, практикалық артықшылық бір мезгілде жұмыс істейтін агентке шаққандағы GPU-лардың аз болуы немесе бір GPU-ға шаққандағы агенттердің көп болуы болып табылады. Қабырғаны бұзатын кодтау агенттері әсіресе сезімтал, себебі қабырға сағатының күту тізбектері бар; 200 мс шешім және 30 мс шешім бірнеше жүз айналымнан кейін әртүрлі өнімдер сияқты сезіледі. Пайдаланушылар көбінесе интерактивті кідіріс өткір болған кезде «модельдің ақымақ болуын» кінәлайды.

Соған қарамастан - және бұл ересектерге арналған бақылау абзацы - авторлық үстелдер басқа біреу оларды ортақ сұраулармен ортақ жабдықта көшіргенше жарнамалайды. Жеңіл дәл баптау нәтижелері көптеген құрылыстарды жасыруы мүмкін. Күшті DeepSWE және Terminal-Bench сандары қызықты, себебі бұл жиынтықтар сынғыш агенттерді жазалайды, бірақ қозу репликация емес. 9× және сол 32 мс-класс фигурасына ТАЛАУ деген жазуы бар жабысқақ жазбаны сақтаңыз. 

Салыстыру кестесі: Токен бойынша LLM және CLM стиліндегі жақтау

Маркетинг тілі түсініксіз болған кезде кестелер көмектеседі. Бұл мақалада LLM генерациясының әдеттегі әдеттері зерттеушілер сипаттағандай қарама-қарсы тіл моделінің оқиғасымен салыстырылады. Нақты салыстырулар әрқашан солай болғандықтан, ұяшықтар әдейі біркелкі емес.

Кестені үкім емес, ойша модель ретінде пайдаланыңыз. Өнім топтары әлі де өздерінің жабдықтарын өлшеуі керек: құрал схемалары, қайталау саясаты және қоршаған орта шуы слайдтар палубасы мойындағаннан гөрі ұпайларды көбірек жылжытады.

Шудың артында кім тұр 👤

Атрибуция маңызды, себебі ашық жасанды интеллекттің нұсқалары мұқият зертханалық шығарылымдардан бастап жұмбақ торренттерге дейін ауқымын қамтиды. Бұл нұсқада бет-әлпеттер бар. Джеки Квок CLM енгізді; Азалия Мирхосейни оны кеңірек қарастыруға көмектесті; қамту үнемі Стэнфорд пен NVIDIA-мен байланысты зерттеу ынтымақтастығын қамтиды. Бұл әрбір санды сиқырлы түрде шындыққа айналдырмайды, бірақ ойынға беделділік қосады. Аты-жөні аталған зерттеушінің ашық нұсқалары анонимді нұсқаларға қарағанда стресстік сынақтан тезірек өтеді - әріптестері көпшілікке арналған нысананы жақсы көреді.

Құрылысшылар үшін практикалық тұрғыдан қолжетімділік маңызды. Ашық салмақтар және Apache 2.0 стиліндегі лицензия (іске қосу кезінде айтылғандай) әдетте зерттеуге арналған лицензияларға қарағанда аз қателіктермен коммерциялық тәжірибе жасауға мүмкіндік береді. Бірдеңе жібермес бұрын шығарылымдағы нақты лицензия файлдарын өзіңіз тексеріңіз; қамту туралы қысқаша мәліметтер келісімшарт емес. Бұл педантиялық болып көрінуі мүмкін, бірақ лицензиялық педантизм стартаптарды құтқарады.

Әлеуметтік күшейту үлгісі таныс: зерттеуші жазбасы, құрметті күшейткіштің дәйексөздері, содан кейін «ақырында шешілген агенттер» толқыны басталады. Қауіпсіздік туралы мәліметтермен бөлісетін адамдарға арналған сүзгі. Бір сәтті кодтау жұмысының скриншоттары - ғылым емес, көңіл-күй театры. 🛰️

Неліктен күйден әрекетке дейінгі циклдар агенттік кодтаудың өзіндік циклдарын жасайды 

Агенттік кодтау - қатал орта. Модель репозиторийдің суретін, қабықша транскриптін, мүмкін сәтсіз тестті көреді және өңдеуді немесе команданы таңдауы керек. Табыс чатқа қарағанда екілік болып жиі кездеседі. Не тест жасыл болып өтеді, не болмайды. Бұл марапаттау формасы әдемі сәтсіздік эсселерін жазатын модельдерге қарағанда әрекеттерді таза таңдайтын саясатты қолдайды.

Қарама-қарсы оқыту әңгімелері сол әлемге сәйкес келеді, себебі олар желіні берілген күйдегі қалаулы әрекеттерге бағыттайды. Мұны кіші инженерге «компиляторлардың неліктен қиын екендігі туралы блог жазбасын жазудың» орнына «осы қателік класын көргенде, осы түзету үлгісіне қол жеткізіңіз» деп үйрету сияқты елестетіп көріңіз. Кіші инженерге әлі де баға беру қажет; қысқа жол тек дизерингті азайтады.

Мұнда кідіріс қосылады. Агент орташа қатені түзету үшін орта есеппен сексен құрал қадамын жасайды делік. Әр қадамға 150 мс қырып тастасаңыз, қабырға сағатының он екі секундын қалпына келтіресіз - бұл ағын күйі мен пайдаланушының электрондық поштаны тексеру үшін alt-tab пернелерін басуының арасындағы айырмашылық. Агенттер паркін басқаратын топтар бұлттағы математиканы да сезінеді. Jev-класты теңдесімен салыстырғандағы магнитудалық есептеу жылдамдығы, тіпті ол табиғатта "тек" 4× ретінде түссе де, сыйымдылықты жоспарлауды қайта реттейді.

Мен кездесулерде үнемі қолданатын тұрақсыз метафора бар: токен бойынша чат модельдері әр қиылыста маршрутты талқылауға ұқсайды, ал 1-жүйе стиліндегі контроллер қалада жүргізуге арналған бұлшықет жады сияқты. Бұлшықет жады жаңа қалада істен шығады. Репозиторий мәдениеті ерекше болған кезде тар реттелген әрекет моделі де солай істейді. Сізге әлі де жаңа архитектуралық таңдаулар үшін талқылау режимдері қажет; сіз елуінші «импортты түзету және қайта іске қосу» рефлекстерін қалайсыз. Гибридті стектері - жылдам CLM тәрізді контроллер және қатты тармақтардағы ауыр ойлау - іске қосу посттары бір батыр моделін сатса да, маңызды жүйелердің келетін жері болуы мүмкін. 🚦

Сондай-ақ, дауыстап айтуға тұрарлық: DeepSWE және Terminal-Bench марапаттау құрылысы сияқты агенттік кодтау стендтері. Қаптама сапасы, құралдарға рұқсат етілген тізімдер және қалпына келтіру нұсқаулары табыс көрсеткіштерін екі таңбалы санға өзгерте алады. Жарықты дәл баптағаннан кейін ~81,6% немесе ~87,6% болғанда, салмақтардың айналасында қандай қаптама тұрғанын зерттеңіз. Бұл көлеңке емес; бұл өрістің қалай жұмыс істейтіні.

Ашық салмақтар, дәл баптау және 35B көлеңкесі 

Ашық салмақтар шағымның әлеуметтік динамикасын өзгертеді. Жабық API модельдері диаграмманы жыпылықтатып, ластану, декодтау амалдары немесе құпия жүйелік шақырулар туралы болжам жасауға мүмкіндік береді. Жүктелетін параметрлермен сіз кем дегенде нәрсені анықтай аласыз. Ішкі кодтау ортаңыз үшін CLM-8B-ді дәл баптау - сіздің линт ережелеріңіз, орналастыру CLI, монорепо топологияңыз - бұл бірінші күндегі нөлдік сиқыр емес, жарқыраған стендтік сандарға апаратын шынайы жол.

Apache 2.0 фреймингі (қамту аймағына сәйкес) құрастырушыларға ыңғайлы: патент беру тілі, айқын қайта бөлу нормалары, «тек зерттеу» тұзақтары аз. Тағы да: файлдарды оқыңыз. Қамту жазушылары қорытындылайды; заңгерлер маманданған.

Жоспарланған CLM-35B - жол картасының слайдындағы ең маңызды сәт. Үлкен модельдер көбінесе ойлау шеберлігін қалпына келтіреді және дистилляция немесе спекулятивтік амалдар кідірістерді бақылауда ұстамаса, «кішкентай және өте жылдам» сүйкімділіктің бір бөлігін жоғалтады. Егер сегіз миллиардтық нұсқа спорттық көлік болса, ал отыз бес миллиардтық нұсқа туристік седан болса, командалар екеуін де сақтауы мүмкін: ыстық циклдар үшін 8B, қатаң жоспарлау үшін 35B. Немесе жабдық арзандай берсе, үлкенірек модель жай ғана басымдыққа ие болуы мүмкін. Қай болашақтың келетіні әлі белгісіз; болашақтың шығарылым жазбалары шешеді, бұл абзац емес.

Ашық агент модельдерімен байланысты бір нәзік қауіп: адамдар оларды жылдамдық шектеусіз CI-ге бекітеді және зиянды README арқылы жедел енгізуді анықтайды. Жылдам модельдер практикалық құндылықты арттырғандай, дұрыс пайдаланбауды күшейтеді. Қоршаулар міндетті емес косплей емес; олар өнім. 

• Сапасын бағаламас бұрын, өз іздеріңізді дәлдеп алыңыз
• Жаңа тапсырмалар үшін баяу ойлау құралын қашу қақпағы ретінде пайдаланыңыз
• Аспаптың кідірісі тек дәлдікте ғана емес, сонымен қатар сіздің белбеуіңіздегі p50/p95
• 35B Парето шекарасын қайтадан жылжытады деп есептейік

Қар жаумай, Джев салыстыруын оқу 

Jev-класты модельдермен салыстыру риторикалық жұмыс жасайды. Олар агенттік жылдамдық деңгейінде тең дәрежелі теңдікті орнатады, сондықтан «9 есе жылдамырақ» сілтемесі бар. Салыстырмалы тұжырымдар бекіткішті қажет етеді, және бұл негізді. Қауіп - бүкіл бағалау стегін бір көбейткішке жинау. Топтық өлшем, дәлдік, декодтау параметрлері, контекст ұзындығы және құралды шақыру серияландыруы - бәрі «жылдамырақ» дегеннің мағынасын өзгертеді, және бұл түймелер сирек бір слайдта пайда болады.

Кластерлік қорытынды терминалдық стенд параметрінде ~32 мс-класс жауаптарын келтіргенде, біреу оның бірінші токен, толық әрекетті JSON немесе кэштелген префикс екенін түсіндіргенше, «жауапты» екіұшты белгі ретінде қарастырыңыз. Бұл айырмашылықтар маркетинг миллисекундтарын инженерлік сағаттарға айналдырады. Төмен кідіріспен салыстыруға болатын нөлдік ату сапасы - бұл арман жұбы; егер тәуелсіз топтар бұл арманның жартысын да растаса, CLM стиліндегі оқыту архитектуралық кездесулерде тұрақты орын алады.

Оған дейін Джевті тұрақты көшбасшылар тақтасынан гөрі бәсекелестік туралы әңгіме ретінде қарастырыңыз. Бәсекелестік жазбаларды сатады. Сіздің өндірістік KPI-ларыңыз әңгімеге мән бермейді. Тапсырманың сәттілігін, шешілген билетке кететін долларды және адамның араласу деңгейін өлшеңіз. Егер контрасттық тіл моделінің форкі оларды жеңсе, тойлаңыз. Егер ол тек Twitter-ді жеңсе, алға жылжи беріңіз. 🚶

Шағын қарама-қайшылық уақыты: бәсекелестік туралы әңгімелер әлі де өз салмағын алады. Олар зертханаларды көңіл-күйдің орнына сандарды жариялауға мәжбүрлейді. Тек таблоны спортпен шатастырмаңыз.

Бұл шығарылымды дұрыс жасау үшін не қажет 

CLM-8B жаңалықтар циклінен тыс маңызды болуы үшін бірнеше нәрсе қажет:

• Репликация: сыртқы топтар тақырыптың кідірісі мен кодтаудың сәттілік көрсеткіштерін құжатталған рецепттермен сәйкестендіре алуы керек.
• Қауіпсіздік белдігінің ашықтығы: DeepSWE және Terminal-Bench ұпайларын берген агент қаптамасының мәліметтерімен бөлісіңіз.
• Зертханалық телепатияны қабылдамайтын құжаттар: нақты дәл баптау сценарийлері, бағалау командалары және аппараттық жазбалар.
• Сәтсіздік режимдері: 1-жүйе стиліндегі шешімдердің қай жерде құлайтынын көрсетеді - жаңа API интерфейстері, түсініксіз билеттер, қауіпсіздікке сезімтал операциялар.
• Жаңарту жолы: CLM-35B қалай байланысты екенін нақтылаңыз, сонда командалар өз стектерін 8B тұйық нүктесіне шамадан тыс жүктемейді.

Егер бұл қораптар бос қалса, модель тағы бір қызықты қағаз салмағына айналады. Егер олар толтырылса, агент платформалары нақты компонент таңдауын алады: терең ойлау үшін талқылау LLM, дірілдеген қолдар үшін контрасттық жылдам модель. Бұл еңбек бөлінісі бір мегамодель әрбір жұмысты әрбір кідіріс бюджетімен жасауы керек деп ойлаудан гөрі ересектерге ұқсайды.

Агенттерді жөнелтетін құрылысшыларға арналған практикалық кеңестер 

Ертең стегіңізді қайта жазудың қажеті жоқ. Шешім қабылдауды тездететін модельдерді бағалау жоспары қажет. Агентіңіздің кідіріске байланысты маңызды бөлігін - терминалдық микроциклді немесе "келесі грепті таңдау" қадамын - жасаудан бастаңыз және ағымдағы жұмыс атыңызға сәйкес CLM-8B дәл баптауын жасаңыз. Жіпті тұрақты ұстаңыз. Барлығын тіркеңіз.

Үнсіз сапа регрессияларына назар аударыңыз: сенімді қате әрекеттермен бірден жауап беретін модельдер жоғары тәуекелді репозиторийлердегі баяу дұрыс модельдерге қарағанда нашар. Тексеру қадамдарын қосыңыз. Қайтарылатын құралдарды артық көріңіз. Сенімділік төмен болған кезде екінші модельге қоңырау шалуды жоспарлаңыз - иә, бұл жылдамдықтың бір бөлігін жейді, бұл жақсы. Тежегішсіз жылдамдық - демонстрациялардың қалай істен шығуына әкеледі.

Ұйымдастыру жағынан, сыйымдылық кестелерін тек секундына токендердің орнына "GPU секундына әрекеттер" бағанымен жаңартыңыз. Агенттік жұмыс жүктемелері өлеңнің өткізу қабілетіне емес, шешімдерге мән береді. Егер авторлардың ~9× мәлімдемесі сіздің аппараттық құралыңызбен байланыста ішінара сақталса, электрондық кестеңіз басқаша көрінеді. Егер олай болмаса, сіз арзан бағамен үйрендіңіз.

Операцияларды жақсы көру үшін, модель «қауіпсіз» сезілгендіктен, өндіріс құпияларын эксперименттік агентке қоймаңыз. Жылдам ашылатын модельдер ешкім қарастырмайтын көлеңкелі жүйелерді іске қосуды жеңілдетеді. Процесс әлі де маңызды. 

Ашық жіптер әлі ілініп тұр 

Бірнеше шешілмеген тақырыптар мені толық жарнамалық режимнен алып тастайды:

• Кодтаудың сәттілігінің қанша бөлігі салмақ пен дәл баптау деректері мен қаптамаға қатысты екені әлі белгісіз.
• Тапсырмалар жергілікті рефлекстердің орнына ұзақ мерзімді жоспарлауды қажет еткенде, 1-жүйенің құрылымы сиреуі мүмкін.
• CLM-35B кідіріс тарихын сақтауы немесе тағы бір күшті орташа өлшемді LLM-ге айналуы мүмкін.
• Қарама-қарсы әрекет қалаулары таралу ауысуы кезінде сынғыш болуы мүмкін - жаңа тілдер, жаңа бұлттық CLI, қарсылас репозиторийлер.
• Әрекеттер миллисекундта орындалған кезде қауіпсіздік туралы әңгіме әлі де толық ақпарат алуды қажет етеді.

Бұлар командаға зиян келтіруге арналған қателіктер емес. Бұл кез келген байыпты қабылдауды қайта қарау кезінде жүргізілуі керек тексерулер. Ерте ашық шығарылымдар мұқият тексеру мен келіспеушілікті қажет етеді, соқыр орнатуларға емес.

Қорытынды 

CLM-8B - агенттердің жылдам әрекет ету күйіне бағытталған ашық, Apache құрылымындағы (әрбір қамту үшін) контрастивті тіл моделі, Джеки Квок көпшілікке Азалия Мирхосейнидің күшейтуімен ұсынған және Стэнфорд/NVIDIA-мен байланысты зерттеу ретінде құрылған. Тақырыпта айтылғандай - Jev класындағы қорытындыдан шамамен 9 есе жылдам, жарықты дәл баптағаннан кейінгі күшті DeepSWE және Terminal-Bench нәтижелері, әлдеқайда төмен кідіріспен салыстыруға болатын нөлдік кадр сапасы, соның ішінде ~32 мс класындағы терминалдық жауаптар туралы әңгімелер - автор хабарлаған және әлі де кең үшінші тарап растауын күтуде. Үлкенірек CLM-35B көкжиекте.

Егер сіз агенттік кодтау жүйелерін құрсаңыз, бұл дінге емес, бағытталған бағалауға тұрарлық. Оны гибридті стектегі 1-жүйе контроллерінің кандидаты ретінде қарастырыңыз, өзіңіздің белдігіңізді өлшеңіз және тәуелсіз жүгірістер пайда болғанша әрбір диаграммада CLAIM стикерін сақтаңыз. Қызықты тұсы - жаңа логотипі бар тағы бір чат моделі емес. Қызықты тұсы - шешім түріндегі оқыту агенттерді абайсызда қателеспей, оларды лезде сезіндіре ала ма?.

Практикалық мысал: CLM-8B үшін кідіріске байланысты маңызды агент микроциклін бағалауды құру

туралы авторлық диаграммалар : Агенттер үшін Jev-ден 9 есе жылдамырақ деп мәлімдейтін жаңа ашық жасанды интеллект моделі сенімді көрінуі мүмкін; сіздің дауысыңыз маңызды. Ұлыбританияның тәуелсіз құралдар тобы CLM-8B-ді чаттың орнына емес, 1-жүйелік контроллер ретінде қалай қарастырғанын және оны өздерінің терминалдық микроциклінде қалай өлшегенін көрсетеді.

Сценарий

Сэм көп файлды рефакторларға арналған ауыр кодтау агентін қолданатын шағын өнімді іске қосады. Ауыртатын бөлігі - ыстық цикл: сәтсіз сынақ транскриптін оқу, келесі қабықты таңдау немесе әрекетті өңдеу, оны іске қосу, қайталау. Пайдаланушылар қысқы қолғаптардың елу құрал қадамындағы кешігуіне қарағанда, күңгірт жауаптарға аз шағымданады. Әлеуметтік желілердегі жазбалар контрасттық тіл моделінің салмақтарын және Jev класындағы әріптестерімен салыстырғанда шамамен 9 есе жылдамдықты, сонымен қатар жарықты дәл баптағаннан кейін күшті DeepSWE / Terminal-Bench көрсеткіштерін күшейтуде. Сэм баспасөз диаграммасында өнімді қайта жазудан бас тартады.

Олар кідіріске байланысты бір маңызды микро-циклді жасайды: өздерінің монорепосынан жиырма түзетілген қателерді түзету іздері. Қазіргі жұмыс тегі жаңа архитектуралық билеттер үшін талқылау жолында қалады. CLM-8B - егер орналастырылса және олардың іздері аздап реттелсе - тек «келесі қайтымды әрекетті таңдау» қадамында бәсекелесуге рұқсат етіледі, ал сенімділік төмен болған кезде баяу ойлау қабілеті қашу люкі ретінде қолданылады.

Мақсат - белдікті тұрақты ұстайтын A/B: бірдей құралдар, бірдей рұқсат етілген тізім, бірдей қайталау саясаты. Секундына әрекеттерді, p50/p95 кідірісін, тапсырманың сәттілігін және адами араласуларды тіркеңіз - содан кейін ашық салмақтар орын алады ма, жоқ па, соны шешіңіз.

Көмекшіге не қажет

• Нақты жұмыстан алынған жиырма анонимді сәтсіздік іздері (енгізілген деректер + тек рұқсат етілген құралдар)
• Бекітілген агент орамасы: құрал схемасы, рұқсат тізімі, максималды қадамдар және «баяу ойлауды шақыру» тармағы
• Ағымдағы модель бойынша сол жиырма тапсырма бойынша базалық ұпайлар
• CLM-8B хосты үшін аппараттық ескертпелер (GPU класы, дәлдік, топтық), сондықтан «жылдамырақ» сілтемеге ие
• CLAIM стикер ережесі: автор DeepSWE / Terminal-Bench / ~9× / ~32 мс фигуралар бұл белдік бірдеңені қайталағанша белгіленген күйінде қалады
• Кез келген CI бекітпес бұрын қате, бірақ жылдам әрекеттерді қарастыратын адам иесі

Мысал нұсқаулығы

Сіз маған CLM-8B үшін кодтау агентіміздің ішінде жылдам күй→әрекет контроллері ретінде әділ A/B жобалауға көмектесіп жатырсыз. Тек мен қойған тізбек деректерін пайдаланыңыз. Кідіріс көбейткіштерін, DeepSWE ұпайларын немесе лицензия шарттарын ойлап таппаңыз.

Тапсырма: Жиырма тапсырма атауы мен ағымдағы негізгі жазбаларымнан (1) Тапсырма / Модель / Қадамдар / Қабырға сағаты / Табыс (өтті/сәтсіз) / Адамның араласуы (иә/жоқ) / Ескертулер бағандары бар бағалау парағын, (2) ораманың модельдер бойынша бірдей болуын қамтамасыз ететін алты таңбалы хаттаманы және (3) CLM-8B микроциклге қашан иелік етуі мүмкін және баяу ойлауға көшкен кездегі шешім қабылдау ережесін күнделікті анық тұжырымдаңыз.

Шектеулер: Ұлыбритания ағылшын тілі. Автор хабарлаған әрбір сан пайда болса, ШАҒЫМ деп белгілеңіз. Қайтарылатын құралдарды артық көріңіз. «Агенттер ақыры шешті» тіліне тыйым салыңыз. Егер менің қоюымнан метрика жоқ болса, болжаудың орнына [ӨЛШЕУ КЕРЕК] деп жазыңыз.

Шығыс: бағалау парағының тақырыбы және толтырғыштарды пайдаланатын бір толтырылған мысал жолы, хаттама маркерлері, содан кейін кеңейту/сақтау ережесі. Кіріспе жоқ.

Оны қалай тексеруге болады

• Ағымдағы жұмыс атында және бірдей қаптамамен CLM-8B дәл баптауында бірдей он ізді іске қосыңыз. Тек қабырға сағаты мен сәттіліктің әртүрлі екенін растаңыз - құралдар тізімдері емес.
• «Осы аптада қай автордың диаграммасы өнімділікті өзгертуі мүмкін?» деп сұраңыз. Жақсы жауап: бұл байланыс табыс пен кідірістің бірге пайдасын көрсеткенше, ешқандай өзгеріс болмайды.
• Шеткі жағдай: CLM-8B шамамен 30 мс ішінде зиянды пәрмен ұсынысымен жауап береді - рұқсат етілген тізімді растап, оны CI алдында адам шолуы арқылы анықтады.
• Шеткі жағдай: жиырма жолдан тыс жаңа API билеті - рефлекстік модель емес, баяу ойлаушының оған ие екенін растаңыз.
• Қабылдау тексерулері: (1) өлшенген нәтиже ретінде ойлап табылған 9× мәлімдемесі жоқ, (2) p50 және p95 кідірісі тіркелген, (3) табыс бөлгіші - жиырма тапсырма, (4) қате жылдам әрекеттер есептелген, (5) Apache/лицензия тексеруі кез келген коммерциялық кеме жоспарынан бұрын офлайн режимінде орындалады.

Нәтиже

Көрнекі нәтиже (авторлардың жұмыс үстелдерінің тәуелсіз зертханалық қайталауы емес, жиырма бекітілген монорепо іздері бойынша үш адамнан тұратын құрал-саймандар тобының мысалдық бағалауы): Негізгі жұмысшы 20 іздің 14-ін адамның көмегінсіз аяқтады; орташа қадам кідірісі шамамен 180 мс; қате өңдеуден кейін екі ізге адам қажет болды. Ішкі іздерде (сол қаптамада) CLM-8B жеңіл дәлдеуден кейін, 20-ның 15-і көмексіз өтті; олардың бір GPU хостында орташа қадам кідірісі шамамен 45 мс; қолдану алдында рұқсат етілген тізіммен тағы бір қате жылдам әрекет анықталды. Жиырма із жиынтығының қабырға сағаты тексеру қадамдарын қоса алғанда шамамен 38 минуттан шамамен 22 минутқа дейін төмендеді. Гигиеналық тексеру тізімінде (жіп тұрақты болып қалды, CLAIM белгілері авторлық диаграммаларда сақталды, жаңа билеттер үшін баяу ойлау әлі де қолданылды, эксперименттік агентте өндірістік құпиялар жоқ), 5 шолу элементінің 5-і өтті. Шектеулер: шағын тапсырмалар жиынтығы, бір аппараттық клас, дәлдеу деректер сапасы басым; бұл авторлардың осы жиектен тыс ~9× немесе DeepSWE көрсеткіштерін растамайды.

Өз нұсқаңызды өлшеу үшін: жиырма ізді қатырыңыз; алдымен ағымдағы үлгіні бағалаңыз; құжатталған дәлдік/параметрлермен CLM-8B орналастырыңыз; сол қаптамамен қайта іске қосыңыз; сәттілік/n, p50/p95, араласулар және кез келген ТАЛАМА нөмірі факт ретінде қарастырылған-қабылданбағанын хабарлаңыз.

Не дұрыс болмауы мүмкін

• Диаграммаға табыну: өзіңіздің 95 бетіңізсіз ~9× слайдта жеткізу.
• Қате-жылдам әрекеттер: Жоғары ставкалы репозиторийлерде баяу дұрыс қателіктерді лезде жеңіп, сенімді қателіктер.
• Қауіпсіздік белдігінің ауытқуы: Модельдер арасында құрал нұсқаулығын ауыстыру және оны модельдің жеңісі деп атау.
• Бір кейіпкерден тұратын стек: Жаңа сәулет жұмыстары үшін ойластырылған пайымдаудан бас тарту.
• Лицензияны қолмен беру: нақты салмақтық репозиторий лицензия файлдарының орнына қамту қорытындыларына сену.
• Көлеңкелі CI: жылдамдық шектеулерінсіз немесе инъекцияны қайта қараусыз құбырларға жылдам ашылатын агентті болттармен бекіту.

Практикалық қорытынды

CLM-8B агенттік кодтау үшін 1-жүйенің кандидат контроллері ретінде шоғырланған бағалауға тұрарлық - ашық салмақтар, шешім пішінді оқиға, автор хабарлаған жылдамдық туралы мәлімдемелер. Бұл сенім емес және сіздің белдігіңіз айтпайынша сіздің стекіңіз үшін дәлелденген 9× емес. Қаптаманы тұрақты ұстаңыз, секундына әрекеттерді және қате жылдамдықты тіркеңіз, баяу қашу люкін сақтаңыз және тәуелсіз жүгірістер (сіздікін қоса алғанда) түскенше әрбір баспасөз кестесінде CLAIM стикерін қалдырыңыз.

Жиі қойылатын сұрақтар

CLM-8B дегеніміз не және агент-құрылысшылар неге ол туралы айтып жатыр?

CLM-8B - контрасттық тіл моделі желісіндегі алғашқы қоғамдық салмақ - агенттер үшін жылдам шешім қабылдау циклі ретінде ұсынылған ашық зерттеу шығарылымы, жай ғана чат миы емес. Оқу оқиғасы мемлекеттерді баяу келесі таңбалау эссесіне қарағанда 1-жүйе рефлексіне ұқсас әрекеттермен байланыстырады. Сегіз миллиард параметрмен ол көптеген зертханалар мен тәуелсіз құрастырушылар үшін орналастыруға жеткілікті кішкентай, ал Apache 2.0 лицензиясы төмендеу айналасында қамтылған. Іске қосу туралы жазбалардағы сандар автор хабарлаған мәлімдемелер, тәуелсіз зертханалық қайталаулар емес.

CLM-8B агенттер үшін Jev-ге қарағанда 9 есе жылдамырақ деп қалай мәлімдейді?

Промоутерлер Jev класты модельдерге қарағанда шамамен 9 есе жылдамырақ қорытынды жасайтынын мәлімдейді, терминалдық стендтік параметрде шамамен 32 мс-класты жауаптар туралы әңгімелер бар. Жеңіл дәл баптаудан кейін олар агенттік кодтаудың күшті нәтижелерін де хабарлайды - DeepSWE шамамен 81,6% және Terminal-Bench 2.1 шамамен 87,6% - және Jev-мен салыстырғанда әлдеқайда төмен кідірісте нөлдік түсірілім сапасы. 9× және миллисекундтық сандарды үшінші тараптар оларды ортақ жабдықта қайта жасағанша мәлімдеме ретінде қарастырыңыз. Салыстырмалы жылдамдық әлі де партия өлшемін, дәлдігін және декодтау параметрлерін нақты көрсетуді қажет етеді.

Қарама-қарсы тіл моделін оқыту әдеттегі LLM-дерден қалай ерекшеленеді?

Көптеген өндірістік LLM-дер бір уақытта бір токен жасайды, бұл проза мен ұзақ ойлау үшін жұмыс істейді, бірақ агент қабылдаған әрбір микрошешімге салық салады. Промоутерлер сипаттағандай, қарама-қарсы тіл моделін оқыту желіні жағдайларды қалаған қадамдарға сәйкестендіруге итермелейді - романшыдан гөрі саясат жетекшісіне көбірек ұқсайды. 1-жүйенің құрылымы құрал қоңыраулары арасында мәңгілік баяндаудан гөрі жылдам әрекетке көшуді артық көреді. CLM-8B әлі де мәтін шығара алады; мақсат пен бағалау оқиғасы агенттік бақылауға бағытталған.

CLM-8B-ны кім шығарды және ол шынымен ашық па?

Джеки Квок жұмысты таныстырды; Азалия Мирхосейни оны кеңейтті; қамту Стэнфорд пен NVIDIA-мен байланыстырылған топтық жұмысты, аталған зерттеушілерді, қоғамдық салмақтарды және ашық кодты қамтиды. Шығарылымға қатысты лицензиялау Apache 2.0 ретінде жасалған, бұл дәл баптау және жеткізу үшін маңызды - бірақ қамту қорытындыларына сүйенбес бұрын репозиторийдегі лицензия файлдарын оқып шығыңыз. Аталған ашық шығарылымдар анонимді дамптарға қарағанда тезірек стресс-тестілеуден өтеді. Кең ауқымды үшінші тарап репликациясы үшін әлі ерте.

Неліктен күйден әрекетке дейінгі циклдар агенттік кодтау үшін соншалықты маңызды?

Агенттік кодтау көбінесе екілік болады: тест жасылға ауысады немесе ауыспайды, сондықтан таза әрекет таңдаулары әдемі сәтсіздік эсселерінен асып түседі. Кідіріс ондаған құрал қадамдары бойынша қосылады - әр қадам үшін қыру уақыты және қабырға сағаты мен бұлттық шоттар екеуі де қозғалады. Jev-класты теңдесімен салыстырғандағы жылдамдық тәртібі, тіпті ол жабайы табиғатта "тек" 4× ретінде түссе де, сыйымдылықты жоспарлауды қайта реттейді. Гибридті стектері - жылдам CLM тәрізді контроллер және қатты тармақтардағы ауыр ойлау құралы - шынайы ұзақ мерзімді пішін.

CLM-8B үшін DeepSWE және Terminal-Bench ұпайларына сенуім керек пе?

Бұл жиынтықтар сынғыш агенттерді жазалайды, сондықтан жарықты дәл баптағаннан кейін ~81,6% DeepSWE және ~87,6% Terminal-Bench 2.1 қызықты көрінеді. Агенттік орындықтар сонымен қатар құрылысты марапаттайды: тіреуіш сапасы, құрал-саймандарға рұқсат етілген тізімдер және қалпына келтіру нұсқаулары табысты екі таңбалы санға өзгерте алады. Диаграмманы белгіленген ғылым ретінде қарастырмас бұрын, салмақтардың айналасында қандай қаптама тұрғанын зерттеңіз. Авторлық орындықтар басқа біреу оларды құжатталған рецепттермен қайта жасағанша жарнамалайды.

CLM-35B және 8B моделін дәл баптау туралы не білуім керек?

Жоспар ретінде үлкенірек CLM-35B жалғасы айтылады; ол кідіріс тарихын сақтай ма, әлде жылдамдықты тереңдікке айырбастай ма, әлі белгісіз. CLM-8B-ді өзіңіздің линт ережелеріңізге сәйкес реттеу, CLI-ді орналастыру және монорепо іздерін салу - бірінші күні нөлдік соққы сиқыры емес, күшті сандарға апаратын шынайы жол. Командалар қонған жағдайда екі өлшемді де сақтауы мүмкін: ыстық циклдар үшін 8B, қатаң жоспарлау үшін 35B. Ашық салмақтар да дұрыс пайдаланбауды жеңілдетеді, сондықтан қоршаулар мен жылдамдық шектеулері өнім болып табылады, қосымша косплей емес.

Джевтің салыстыруларын қар жаумай қалай оқуым керек?

Jev-класты салыстырулар «9 есе жылдамырақ» теңдік якорь береді, бұл презентацияның басталуына көмектеседі. Қауіп - топтама өлшемін, дәлдігін, контекст ұзындығын және құралды шақырудың сериялануын бір көбейткішке ыдырату. Чаттер ~32 ms-класты жауаптарды келтіргенде, бұл бірінші токенді, толық әрекетті JSON немесе кэштелген префиксті білдіре ме деп сұраңыз. Тапсырманың сәттілігін, шешілген билетке жұмсалған долларды және стегіңіздегі адамның араласу жылдамдығын өлшеңіз. Бәсекелестік туралы әңгімелер зертханаларды сандарды жариялауға мәжбүр етеді; сіздің өндірістік KPI-леріңіз әлі де шешім қабылдайды.

Құрылысшылар CLM-8B өндірістік агенттерге қоспас бұрын не істеуі керек?

Терминалды микроцикл сияқты кідіріске байланысты маңызды бөлікті бөліп алыңыз және жабдықты тұрақты ұстап тұрып, ағымдағы жұмыс атыңызға сәйкес дәлдеңіз. Дұрыс емес, бірақ жылдам әрекеттерді бақылаңыз; тексеруді қосыңыз, қайтымды құралдарды таңдаңыз және сенімділік төмен болған кезде баяу ойлауды жоспарлаңыз. Тек секундына токендерді ғана емес, әрбір GPU үшін секундына әрекеттерді бақылаңыз. Өндіріс құпияларын эксперименттік агенттерге жапсырмаңыз және өзіңіздің жүгірістеріңіз түскенше әрбір баспасөз диаграммасына CLAIM стикерін қалдырыңыз.

CLM-8B Just Droped шағымдары үшін әділ кідіріс микроциклін бағалауды қалай құруға болады?

Нағыз сәтсіздік сынақтарының шағын жиынтығын қатырыңыз, модельдер бойынша бірдей құрал схемасын және рұқсат етілген тізімді сақтаңыз, қадамдарды, қабырға сағатын, табысты және адами араласуларды тіркеңіз. Егер сіз жаңа билеттер үшін кеңестік қашу люкін сақтасаңыз, CLM-8B-ді тек "келесі қайтымды әрекетті таңдау" қадамында пайдаланыңыз. Авторды ~9×, DeepSWE және миллисекунд сандарын бұл құрал табыс пен кідіріс бойынша жеңісті бірге көрсеткенше ТАҒАЙЫН деп белгілеңіз. Бұл бағытталған бағалау слайдтар палубасында өнімді қайта жазудан асып түседі.

Сілтемелер

1. Құшақтасқан бет — Қарама-қарсы тіл моделі (CLM-v0.1-8B) — huggingface.co
2. GitHub — Contrastive-LM / CLM — github.com
3. Стэнфорд университеті — Азалия Мирхосейни — cs.stanford.edu
4. Джеки Квок — jackyk02.github.io
5. X — Джеки Квоктың кіріспесі — x.com
6. DeepSWE — deepswe.datacurve.ai
7. Сноркель AI — Terminal-Bench 2.1 — snorkel.ai
8. Джев — jevtypesafeai.com