Қысқа жауап: Қолдану жағдайыңыз үшін «жақсы» дегеннің қандай болатынын анықтаңыз, содан кейін репрезентативті, нұсқаланған сұраулар мен шеткі жағдайлармен тексеріңіз. Автоматтандырылған метрикаларды адамдық рубрикалық бағалаумен, сондай-ақ қарсыласу қауіпсіздігі мен сұрау енгізу тексерулерімен жұптастырыңыз. Егер шығындар немесе кідіріс шектеулері міндетті болып қалса, модельдерді жұмсалған фунтқа шаққандағы тапсырманың сәттілігі және p95/p99 жауап беру уақыты бойынша салыстырыңыз.
Негізгі қорытындылар:
Есеп беру : Кез келген сұрау немесе модель өзгергеннен кейін иелерін анықтаңыз, нұсқа журналдарын сақтаңыз және бағалауларды қайта орындаңыз.
Ашықтық : Ұпай жинай бастамас бұрын, табыс критерийлерін, шектеулерді және сәтсіздік шығындарын жазып алыңыз.
Аудиттелуі : Қайталанатын сынақ жиынтықтарын, белгіленген деректер жиынтығын және бақыланатын p95/p99 кідіріс көрсеткіштерін сақтау.
Даулы нәтижелер үшін адами шолу рубрикаларын және анықталған апелляциялық жолды пайдаланыңыз.
Дұрыс пайдаланбауға төзімділік : Қызыл топтың шақыруы, сезімтал тақырыптар және пайдаланушыларды қорғау үшін шамадан тыс бас тарту.
Егер сіз өнімге, зерттеу жобасына немесе тіпті ішкі құралға арналған модель таңдасаңыз, оны жай ғана «бұл ақылды естіледі» деп жібере алмайсыз ( OpenAI бағалау нұсқаулығын және NIST AI RMF 1.0 ). Осылайша сіз шанышқыны микротолқынды пеште қалай қыздыру керектігін сенімді түрде түсіндіретін чатботқа ие боласыз. 😬
Осыдан кейін оқуға болатын мақалалар:
🔗 Жасанды интеллекттің болашағы: келесі онжылдықты қалыптастыратын үрдістер
Негізгі инновациялар, жұмыс орындарына әсер ету және алдағы уақытта бақылауға алынатын этика.
🔗 Жаңадан бастаушыларға арналған генеративті жасанды интеллекттегі негізгі модельдер түсіндіріледі.
Олардың не екенін, қаншалықты оқытылғанын және неліктен маңызды екенін біліңіз.
🔗 Жасанды интеллект қоршаған ортаға және энергияны пайдалануға қалай әсер етеді?
Шығарындыларды, электр энергиясына деген сұранысты және ізді азайту жолдарын зерттеңіз.
🔗 Бүгінгі таңда кескіндерді анық ету үшін жасанды интеллекттің масштабталуы қалай жұмыс істейді?
Модельдердің бөлшектерді қалай қосатынын, шуды қалай жоятынын және қалай үлкейтетінін қараңыз.
1) «Жақсы» дегенді анықтау (әр түрлі жағдайларға байланысты, бұл қалыпты жағдай) 🎯
Кез келген бағалауды жүргізбес бұрын, табыстың қандай болатынын шешіңіз. Әйтпесе, бәрін өлшеп, ештеңе үйренбейсіз. Бұл торт жарысын бағалау үшін өлшеуіш таспа әкелумен бірдей. Әрине, сандар шығады, бірақ олар сізге көп нәрсе айтпайды 😅
Нақтылау:
-
Пайдаланушы мақсаты : қорытындылау, іздеу, жазу, пайымдау, фактілерді алу
-
Сәтсіздік құны : фильмге қате ұсыныс күлкілі; медициналық нұсқаулық қате... күлкілі емес (тәуекел шеңбері: NIST AI RMF 1.0 ).
-
Орындалу ортасы : құрылғыда, бұлтта, брандмауэрдің артында, реттелетін ортада
-
Негізгі шектеулер : кідіріс, сұраныстың құны, құпиялылық, түсіндірмелілік, көптілді қолдау, дыбысты басқару
Бір жұмыста «ең үздік» модель екінші жұмыста апатқа әкелуі мүмкін. Бұл қайшылық емес, шындық. 🙂
2) Берік жасанды интеллект моделін бағалау жүйесі қандай көрінеді 🧰
Иә, бұл адамдар өткізіп жіберетін бөлік. Олар эталонды алып, оны бір рет іске қосып, күн сайын солай істейді. Берік бағалау жүйесінің бірнеше тұрақты ерекшеліктері бар (практикалық құралдардың мысалдары: OpenAI бағалаулары / OpenAI бағалау нұсқаулығы ):
-
Қайталанатын - келесі аптада қайтадан іске қосып, салыстыруларға сене аласыз
-
Өкіл - бұл сіздің нақты пайдаланушыларыңыз бен тапсырмаларыңызды көрсетеді (тек викториналарды ғана емес)
-
Көп қабатты - автоматтандырылған көрсеткіштерді + адами шолуды + қарсыласу сынақтарын біріктіреді
-
Іс-әрекетке жарамды - нәтижелер сізге тек «ұпай төмендеді» емес, нені түзету керектігін айтады
-
Бұзылуға төзімді - «сынақтан өтуге үйретуден» немесе кездейсоқ ағып кетуден аулақ болады
-
Шығындарды ескеру - бағалаудың өзі сізді банкротқа ұшыратпауы керек (егер сізге ауырсыну ұнамаса)
Егер сіздің бағалауыңыз күмәншіл командаласыңыздың «Жарайды, бірақ мұны өндіріске сәйкестендіріңіз» деген сөзіне төтеп бере алмаса, онда ол әлі аяқталған жоқ. Міне, атмосфераны тексеру.
3) Қолдану жағдайының бөліктерінен бастап, жасанды интеллект модельдерін қалай бағалауға болады 🍰
Міне, көп уақытты үнемдейтін бір амал: пайдалану жағдайын бөліктерге бөліңіз .
«Модельді бағалаудың» орнына мынаны орындаңыз:
-
Мақсатты түсіну (пайдаланушы қалағанын ала ма)
-
Ақпаратты іздеу немесе контекстті пайдалану (берілген ақпаратты дұрыс пайдалана ма)
-
Ойлау/көп сатылы тапсырмалар (қадамдар арасында үйлесімді болып қала ма)
-
Пішімдеу және құрылым (нұсқаулықтарды сақтай ма)
-
Қауіпсіздік және саясатты үйлестіру (қауіпті мазмұнды болдырмай ма; NIST AI RMF 1.0 )
-
Әуен және бренд дауысы (сіз оның дыбысталуын қалайсыз ба?)
Бұл «Жасанды интеллект модельдерін қалай бағалау керек» емтиханын бір үлкен емтиханға емес, мақсатты викториналар жиынтығына ұқсатады. Викториналар тітіркендіргіш, бірақ басқаруға болады. 😄
4) Офлайн бағалаудың негіздері - тест жинақтары, белгілер және маңызды емес мәліметтер 📦
Офлайн бағалау - пайдаланушылар кез келген нәрсеге қол тигізбес бұрын бақыланатын тесттерді орындайтын орын (жұмыс процесінің үлгілері: OpenAI Evals ).
Шынымен сіздікі болатын сынақ жинағын жасаңыз немесе жинаңыз
Жақсы сынақ жиынтығы әдетте мыналарды қамтиды:
-
Алтын мысалдар : сіз мақтанышпен жеткізетін тамаша нәтижелер
-
Жиек регистрлері : түсініксіз сұраулар, ретсіз енгізулер, күтпеген пішімдеу
-
Ақаулық режиміндегі зондтар : галлюцинацияларды немесе қауіпті жауаптарды тудыратын сигналдар (қауіпті тестілеу құрылымы: NIST AI RMF 1.0 )
-
Әртүрлілікті қамту : пайдаланушылардың әртүрлі дағдылар деңгейлері, диалектілер, тілдер, домендер
Егер сіз тек «таза» сұрауларда ғана сынақтан өткізсеңіз, модель керемет көрінеді. Содан кейін пайдаланушыларыңыз қате теріп, жартылай сөйлемдермен және ашу-ызамен пайда болады. Шындыққа қош келдіңіз.
Таңбалау таңдаулары (яғни: қатаңдық деңгейлері)
Шығыстарды келесідей белгілеуге болады:
-
Екілік : өту/сәтсіздік (жылдам, қатал)
-
Реттік сан : 1-5 сапа баллы (нюанстарға негізделген, субъективті)
-
Көп функциялы : дәлдік, толықтық, тон, дәйексөзді пайдалану және т.б. (ең жақсы, баяу)
Көптеген командалар үшін көп функциялылық ең жақсы таңдау. Бұл тағамның дәмін татып, тұздылығын құрылымынан бөлек бағалаумен бірдей. Әйтпесе, сіз жай ғана «дәмді» деп айтып, иығыңызды қиқаң еткізесіз.
5) Өтірік айтпайтын көрсеткіштер - және өтірік айтатын көрсеткіштер 📊😅
Метрикалар құнды... бірақ олар жарқыраған бомба бола алады. Жылтыр, барлық жерде және тазалау қиын.
Жалпы метрикалық отбасылар
-
Дәлдік / дәл сәйкестік : бөліп алу, жіктеу, құрылымдалған тапсырмалар үшін тамаша
-
F1 / дәлдік / еске түсіру : бірдеңені жіберіп алған кезде ыңғайлы болу қосымша шуылдан да жаман (анықтамалар: scikit-learn precision/recall/F-score )
-
BLEU / ROUGE стилінің қабаттасуы : қорытындылауға ұқсас тапсырмалар үшін жарамды, көбінесе жаңылыстырады (бастапқы көрсеткіштер: BLEU және ROUGE )
-
Ұқсастықты енгізу : семантикалық сәйкестік үшін пайдалы, қате, бірақ ұқсас жауаптарды марапаттай алады
-
Тапсырманың сәттілік көрсеткіші : жақсы анықталған кезде «пайдаланушы қажет нәрсені алды ма» алтын стандарты
-
Шектеулерге сәйкестік : пішімді, ұзындықты, JSON жарамдылығын, схеманы сақтауды бақылайды
Негізгі мәселе
Егер тапсырмаңыз ашық болса (жазба, пайымдау, қолдау чаты), бір таңбалы көрсеткіштер... дірілдеп тұруы мүмкін. Мағынасыз емес, жай ғана дірілдеп тұруы мүмкін. Шығармашылықты сызғышпен өлшеуге болады, бірақ мұны істеу сізге ақымақтық болып көрінеді. (Сондай-ақ, көзіңізді шығарып алуыңыз мүмкін.)
Сонымен: көрсеткіштерді пайдаланыңыз, бірақ оларды адами шолу мен нақты тапсырма нәтижелеріне бекітіңіз (LLM негізіндегі бағалауды талқылаудың бір мысалы + ескертулер: G-Eval ).
6) Салыстыру кестесі - ең жақсы бағалау нұсқалары (ерекшеліктері бар, себебі өмірдің де өзіндік ерекшеліктері бар) 🧾✨
Міне, бағалау тәсілдерінің практикалық мәзірі. Араластырып, сәйкестендіріңіз. Көптеген командалар солай істейді.
| Құрал / Әдіс | Аудитория | Бағасы | Неліктен жұмыс істейді |
|---|---|---|---|
| Қолмен жасалған жедел тест жинағы | Өнім + инженерия | $ | Өте мақсатты, регрессияларды тез ұстайды - бірақ сіз оны мәңгілікке сақтауыңыз керек 🙃 (бастапқы құралдар: OpenAI Evals ) |
| Адами рубрикаларды бағалау тақтасы | Сарапшыларды босата алатын топтар | $$ | Әуен, нюанс, «адам мұны қабылдай ма?», шолушыларға байланысты аздаған хаос үшін ең жақсысы |
| LLM - төреші (бағдарларымен) | Жылдам итерация циклдары | $-$$ | Жылдам және масштабталатын, бірақ бейімділікті мұра ете алады және кейде фактілерді емес, вибрацияларды бағалайды (зерттеу + белгілі бейімділік мәселелері: G-Eval ) |
| Қарсылас қызыл командалық спринт | Қауіпсіздік + сәйкестік | $$ | Әсіресе жедел инъекцияның өткір сәтсіздік режимдерін табады - спортзалдағы стресстік тест сияқты сезіледі (қауіпке шолу: OWASP LLM01 жедел инъекциясы / LLM қолданбаларына арналған OWASP Top 10 ) |
| Синтетикалық сынақ генерациясы | Деректерді жеңілдететін топтар | $ | Жақсы қамту, бірақ синтетикалық нұсқаулар тым ұқыпты, тым сыпайы болуы мүмкін... пайдаланушылар сыпайы емес |
| Нақты пайдаланушылармен A/B тестілеуі | Ересектерге арналған өнімдер | $$$ | Ең айқын сигнал - сонымен қатар көрсеткіштер өзгерген кездегі ең эмоционалды стресс (классикалық практикалық нұсқаулық: Кохави және т.б., «Интернеттегі бақыланатын эксперименттер» ) |
| Іздеуге негізделген бағалау (RAG тексерулері) | Іздеу + QA қолданбалары | $$ | Өлшеулер «контекстті дұрыс пайдаланады», галлюцинация ұпайының инфляциясын азайтады (RAG бағалауына шолу: RAG бағалауы: сауалнама ) |
| Мониторинг + дрейфті анықтау | Өндіріс жүйелері | $$-$$$ | Уақыт өте келе нашарлауды ұстайды - сізді құтқарғанға дейін жарқырамайды 😬 (дрифтке шолу: Тұжырымдамалық дрифт сауалнамасы (PMC) ) |
Бағалардың әдейі төмен екеніне назар аударыңыз. Олар масштабқа, құрал-жабдықтарға және кездейсоқ қанша кездесу өткізетініңізге байланысты.
7) Адами бағалау - адамдардың қаржыландыруы жеткіліксіз құпия қару 👀🧑⚖️
Егер сіз тек автоматтандырылған бағалауды жасасаңыз, сіз мыналарды жіберіп аласыз:
-
Дауыс ырғағының сәйкес келмеуі («неге соншалықты кекесінмен сөйлейді»)
-
Жеңіл көрінетін нақты қателіктер
-
Зиянды салдарлар, стереотиптер немесе ыңғайсыз сөз тіркестері (тәуекел + бейтараптық құрылым: NIST AI RMF 1.0 )
-
Нұсқаулықты орындаудағы әлі де «ақылды» болып көрінетін сәтсіздіктер
Рубрикаларды нақтылаңыз (немесе шолушылар еркін сөйлейді)
Жаман айдар: «Пайдалылық»
Жақсы айдар:
-
Дұрыстығы : сұрақ + контекстке байланысты нақты дәлдік
-
Толықтық : қажетті тармақтарды шатаспай қамтиды
-
Анықтық : оқылатын, құрылымдалған, минималды шатасу
-
Саясат/қауіпсіздік : шектеулі мазмұннан аулақ болады, бас тартуды жақсы өңдейді (қауіпсіздік құрылымы: NIST AI RMF 1.0 )
-
Стиль : дауысқа, тонға, оқу деңгейіне сәйкес келеді
-
Адалдық : қолдау таппайтын дереккөздер немесе мәлімдемелер ойлап таппайды
Сондай-ақ, кейде бағалаушылар аралық тексерулер жүргізіңіз. Егер екі шолушы үнемі келіспесе, бұл «адамдар мәселесі» емес, бұл рубрика мәселесі. Әдетте (бағалаушылар аралық сенімділік негіздері: МакХью Коэннің каппасындағы пікір ).
8) Жасанды интеллект модельдерін қауіпсіздік, беріктік және «уһ, пайдаланушылар» тұрғысынан қалай бағалауға болады 🧯🧪
Бұл сіз іске қоспас бұрын жасайтын бөлігіңіз - содан кейін жалғастыра беріңіз, себебі интернет ешқашан ұйықтамайды.
Беріктік сынақтарын қамтуы керек
-
Қателер, жаргон, грамматиканың бұзылуы
-
Өте ұзақ сұраулар және өте қысқа сұраулар
-
Қарама-қайшы нұсқаулар («қысқаша, бірақ әрбір бөлшекті қамту»)
-
Пайдаланушылар мақсаттарын өзгертетін көп айналымды әңгімелер
-
Жедел енгізу әрекеттері («алдыңғы ережелерді елемеңіз...») (қауіп туралы мәліметтер: OWASP LLM01 Жедел енгізу )
-
Мұқият бас тартуды қажет ететін сезімтал тақырыптар (тәуекел/қауіпсіздік шеңбері: NIST AI RMF 1.0 )
Қауіпсіздікті бағалау тек «бас тарта ма?» дегенмен шектелмейді
Жақсы модель келесідей болуы керек:
-
Қауіпсіз емес сұраныстардан анық және сабырлы түрде бас тартыңыз (нұсқаулық: NIST AI RMF 1.0 )
-
Қажет болған жағдайда қауіпсіз баламаларды ұсыныңыз
-
Зиянсыз сұрақтардан (жалған оң нәтижелерден) бас тартудан аулақ болыңыз
-
Анықтамалық сұрақтармен түсініксіз сұраныстарды қарастырыңыз (рұқсат етілген жағдайда)
Шамадан тыс бас тарту - өнімнің нақты мәселесі. Пайдаланушылар күдікті гоблиндер сияқты қаралғанды ұнатпайды. 🧌 (Тіпті олар күдікті гоблиндер болса да.)
9) Құны, кідірісі және операциялық шындық - барлығы ұмытып кететін бағалау 💸⏱️
Модель «таңғажайып» болуы мүмкін және егер ол баяу, қымбат немесе пайдалану тұрғысынан нәзік болса, сіз үшін қате болуы мүмкін.
Бағалау:
-
Кідірістің таралуы (тек орташа ғана емес - p95 және p99 маңызды) (неліктен процентильдер маңызды: мониторинг бойынша Google SRE жұмыс кітабы )
-
Әрбір сәтті тапсырманың құны (жеке алынған әрбір токеннің құны емес)
-
Жүктеме астындағы тұрақтылық (тайм-ауттар, жылдамдық шектеулері, аномальды секірулер)
-
Құралдың сенімділігін шақыруы (егер ол функцияларды пайдаланса, ол әрекет ете ме)
-
Шығыс ұзындығының үрдістері (кейбір модельдер ретсіз жұмыс істейді, ал ретсіз жұмыс істеу ақшаны қажет етеді)
Сәл нашар, бірақ екі есе жылдам модель іс жүзінде жеңіске жетуі мүмкін. Бұл айқын естіледі, бірақ адамдар оны елемейді. Азық-түлік дүкенінен спорттық көлік сатып алып, содан кейін жүксалғыштың кеңістігіне шағымдану сияқты.
10) Көшіріп (және өзгерте) алатын қарапайым толық жұмыс процесі 🔁✅
Шексіз эксперименттерге түсіп қалмай, жасанды интеллект модельдерін қалай бағалауға болатыны туралы практикалық нұсқаулық
-
Табысты анықтаңыз : тапсырма, шектеулер, сәтсіздік шығындары
-
Шағын «негізгі» сынақ жиынтығын жасаңыз : нақты қолданысты көрсететін 50-200 мысал
-
Шеткі және қарсылас жиынтықтарды қосыңыз : инъекция әрекеттері, түсініксіз нұсқаулар, қауіпсіздік зондтары (жедел инъекция класы: OWASP LLM01 )
-
Автоматты тексерулерді іске қосыңыз : пішімдеу, JSON жарамдылығы, мүмкін болған жағдайда негізгі дұрыстық
-
Адам шолуын іске қосыңыз : санаттар бойынша үлгі нәтижелерін, рубрикамен бағалаңыз
-
Салыстырыңыз : сапа мен баға, кідіріс пен қауіпсіздік
-
Шектеулі шығарылымдағы пилоттық нұсқа : A/B сынақтары немесе кезең-кезеңімен іске қосу (A/B сынақ нұсқаулығы: Кохави және т.б. )
-
Өндірістегі монитор : дрейф, регрессиялар, пайдаланушы кері байланыс циклдары (дрейфке шолу: Тұжырымдама дрейфін зерттеу (PMC) )
-
Итерация : жаңарту сұраулары, қалпына келтіру, дәл баптау, қоршаулар, содан кейін бағалауды қайта іске қосу (бағалау итерациясының үлгілері: OpenAI бағалау нұсқаулығы )
Нұсқаланған журналдарды сақтаңыз. Қызықты болғандықтан емес, болашақта - кофе ұстап, «не өзгерді...» деп күбірлеп отырып, сізге алғыс айтатын боласыз ☕🙂
11) Жиі кездесетін қателіктер (яғни: адамдардың кездейсоқ өздерін алдау жолдары) 🪤
-
Тестке дайындық : сіз эталон керемет көрінгенше сұрауларды оңтайландырасыз, бірақ пайдаланушылар зардап шегеді
-
Бағалау деректерінің ағып кетуі : тест тапсырмалары жаттығуларда немесе деректерді дәл баптауда көрсетіледі (уфс)
-
Бір метрикалық табыну : пайдаланушы құндылығын көрсетпейтін бір ұпайды қуу
-
Тарату ығысуын елемеу : пайдаланушының мінез-құлқы өзгереді және сіздің моделіңіз тыныш нашарлайды (өндірістік тәуекел құрылымы: Тұжырымдама дрейфін зерттеу (PMC) )
-
«Ақылдылықты» шамадан тыс индекстеу : ақылды ойлау пішімдеуді бұзса да, фактілерді ойлап тапса да маңызды емес.
-
Бас тарту сапасын тексермеймін : «Жоқ» дұрыс болуы мүмкін, бірақ UX әлі де нашар
Сондай-ақ, демо-роликтерден сақ болыңыз. Демо-роликтер фильм трейлерлері сияқты. Олар негізгі сәттерді көрсетеді, баяу бөліктерін жасырады және кейде драмалық музыкамен жалғасады. 🎬
12) Жасанды интеллект модельдерін қалай бағалау керектігі туралы қорытынды 🧠✨
Жасанды интеллект модельдерін бағалау бір ғана ұпай емес, бұл теңдестірілген тамақтану. Сізге ақуыз (дұрыс), көкөністер (қауіпсіздік), көмірсулар (жылдамдық және баға), иә, кейде десерт (ауызша және ләззат) қажет 🍲🍰 (тәуекел шеңбері: NIST AI RMF 1.0 )
Егер басқа ештеңе есіңізде болмаса:
-
Қолдану жағдайыңыз үшін «жақсы» дегеннің нені білдіретінін анықтаңыз
-
Тек танымал эталондарды ғана емес, репрезентативті тест жинақтарын пайдаланыңыз
-
Автоматтандырылған көрсеткіштерді адами рубрикалық шолумен біріктіріңіз
-
Тесттің беріктігі мен қауіпсіздігі пайдаланушыларға қарсылас болып келеді (өйткені кейде... олар қарсылас) (жедел енгізу класы: OWASP LLM01 )
-
Бағалауға шығындар мен кідірістерді кейіннен емес, ескеріңіз (неліктен процентильдер маңызды: Google SRE жұмыс кітабы )
-
Іске қосылғаннан кейінгі бақылау - модельдер дрейфке айналады, қолданбалар дамиды, адамдар шығармашылыққа бейімделеді (дрейфке шолу: Тұжырымдама дрейфіне шолу (PMC) )
Өніміңіз іске қосылғанда және адамдар болжанбайтын әрекеттер жасай бастағанда, осылай бағалауға болады
Жиі қойылатын сұрақтар
Нақты өнім үшін жасанды интеллект модельдерін бағалаудың алғашқы қадамы қандай?
Алдымен нақты пайдалану жағдайыңыз үшін «жақсы» дегеннің нені білдіретінін анықтаңыз. Пайдаланушы мақсатын, қандай сәтсіздіктерге әкелетінін (төмен тәуекелділік пен жоғары тәуекелділік) және модель қай жерде жұмыс істейтінін (бұлттық, құрылғыдағы, реттелетін орта) нақтылаңыз. Содан кейін кідіріс, құны, құпиялылық және дыбысты басқару сияқты қатаң шектеулерді тізіп шығыңыз. Бұл негізсіз сіз көп нәрсені өлшейсіз және әлі де дұрыс емес шешім қабылдайсыз.
Пайдаланушыларымды шынымен көрсететін тест жинағын қалай құрастырамын?
Тек жалпыға қолжетімді эталон емес, шынымен де сіздікі болатын сынақ жинағын жасаңыз. Мақтанышпен жіберетін алтын мысалдарды, сондай-ақ қате жазылған, жартылай сөйлемдер мен екіұшты сұраулар бар шулы, жабайы сұрақтарды қосыңыз. Галлюцинацияларды немесе қауіпті жауаптарды тудыратын шеткі жағдайларды және сәтсіздік режиміндегі зондтарды қосыңыз. Нәтижелер өндірісте құлап кетпеуі үшін шеберлік деңгейіндегі, диалектілердегі, тілдердегі және салалардағы әртүрлілікті қамтыңыз.
Қандай көрсеткіштерді қолдануым керек және қайсысы адастыруы мүмкін?
Метрикаларды тапсырма түрімен сәйкестендіріңіз. Дәл сәйкестік пен дәлдік алу және құрылымдық нәтижелер үшін жақсы жұмыс істейді, ал дәлдік/еске түсіру және F1 бір нәрсені жіберіп алған кезде қосымша шуылдан гөрі көмектеседі. BLEU/ROUGE сияқты қабаттасатын метрикалар ашық тапсырмалар үшін адастыруы мүмкін, ал ұқсастықты енгізу «дұрыс емес, бірақ ұқсас» жауаптарды марапаттауы мүмкін. Жазу, қолдау немесе пайымдау үшін метрикаларды адами шолумен және тапсырманың сәттілік көрсеткіштерімен біріктіріңіз.
Бағалауларды қайталанатын және өндірістік деңгейге сай болу үшін қалай құрылымдауым керек?
Берік бағалау жүйесі қайталанатын, репрезентативті, көп деңгейлі және іс жүзінде қолдануға жарамды. Автоматты тексерулерді (пішім, JSON жарамдылығы, негізгі дұрыстығы) адамдық рубрикалық бағалау және қарсыласу сынақтарымен біріктіріңіз. Ағып кетуден және «сынақтан өтуге үйретуден» аулақ болу арқылы оны бұзуға төзімді етіңіз. Бағалау құнын ескеріңіз, сонда оны іске қосу алдында бір рет емес, жиі қайталай аласыз.
Хаосқа айналмай, адами бағалауды жүргізудің ең жақсы жолы қандай?
Сарапшылар еркін сөйлемеуі үшін нақты рубриканы пайдаланыңыз. Дұрыстық, толықтық, анықтық, қауіпсіздік/саясаттың өңделуі, стиль/дауыс сәйкестігі және адалдық сияқты қасиеттерді бағалаңыз (мәлімдемелер немесе дереккөздер ойлап таппаңыз). Бағалаушылар арасындағы келісімді мезгіл-мезгіл тексеріп отырыңыз; егер сарапшылар үнемі келіспесе, рубриканы жетілдіру қажет болуы мүмкін. Адамдардың шолуы әсіресе тональды сәйкессіздіктер, айқын фактілік қателіктер және нұсқаулықты орындаудағы сәтсіздіктер үшін өте пайдалы.
Қауіпсіздікті, беріктікті және жедел инъекция тәуекелдерін қалай бағалаймын?
«Уф, пайдаланушылар» енгізулерімен сынақтан өткізіңіз: қателер, жаргон, қарама-қайшы нұсқаулар, өте ұзын немесе өте қысқа сұраулар және мақсатты бірнеше айналыммен өзгерту. «Алдыңғы ережелерді елемеу» сияқты сұрау енгізу әрекеттерін және мұқият бас тартуды қажет ететін сезімтал тақырыптарды қосыңыз. Жақсы қауіпсіздік көрсеткіштері тек бас тарту ғана емес - бұл анық бас тарту, қажет болған жағдайда қауіпсіз баламаларды ұсыну және пайдаланушы тәжірибесіне зиян келтіретін зиянсыз сұраулардан шамадан тыс бас тартудан аулақ болу.
Шындыққа сәйкес келетіндей құны мен кідірісін қалай бағалаймын?
Орташа мәндерді ғана өлшемеңіз - кідірістің таралуын, әсіресе p95 және p99 уақыттарын бақылаңыз. Әр сәтті тапсырманың құнын бағалаңыз, токеннің құнын жеке-жеке емес, себебі қайталаулар мен тітіркенген нәтижелер үнемдеуді жоя алады. Жүктеме кезіндегі тұрақтылықты (тайм-ауттар, жылдамдық шектеулері, күрт секірулер) және құралды/функцияны шақыру сенімділігін тексеріңіз. Екі есе жылдам немесе тұрақтырақ, сәл нашар модель өнімнің жақсы таңдауы бола алады.
Жасанды интеллект модельдерін бағалаудың қарапайым, толық жұмыс процесі қандай?
Табыс критерийлері мен шектеулерін анықтаңыз, содан кейін нақты қолданысқа ұқсас шағын негізгі сынақ жиынтығын жасаңыз (шамамен 50-200 мысал). Қауіпсіздік және енгізу әрекеттері үшін шеткі және қарсылас жиынтықтарды қосыңыз. Автоматты тексерулерді іске қосыңыз, содан кейін адами рубрикаларды бағалау үшін нәтижелерді үлгілеңіз. Сапаны және құнын және кідірісті және қауіпсіздікті салыстырыңыз, шектеулі енгізумен немесе A/B сынағымен пилоттық сынақтан өткізіңіз және өндірісте дрейф пен регрессияны бақылаңыз.
Командалардың модельді бағалауда кездейсоқ өздерін алдауының ең көп таралған жолдары қандай?
Жалпы тұзақтарға пайдаланушылар зардап шеккен кезде эталондық көрсеткішке жету үшін сұрауларды оңтайландыру, бағалау сұрауларын оқытуға жіберу немесе деректерді дәл баптау және пайдаланушы құндылығын көрсетпейтін бірыңғай метрикаға табыну жатады. Командалар сонымен қатар таратудың өзгеруін елемейді, форматқа сәйкестік пен адалдықтың орнына «ақылдылықты» шамадан тыс индекстейді және бас тарту сапасын тексеруді өткізіп жібереді. Демонстрациялар бұл мәселелерді жасыра алады, сондықтан ерекшелеу ретроларына емес, құрылымдалған бағалауларға сүйеніңіз.
Сілтемелер
-
OpenAI - OpenAI бағалау нұсқаулығы - platform.openai.com
-
Ұлттық стандарттар және технологиялар институты (NIST) - Жасанды интеллект тәуекелдерін басқару құрылымы (ЖИ RMF 1.0) - nist.gov
-
OpenAI - openai/evals (GitHub репозиторийі) - github.com
-
scikit-learn - precision_recall_fscore_support - scikit-learn.org
-
Есептеу лингвистикасы қауымдастығы (ACL антологиясы) - BLEU - aclanthology.org
-
Есептеу лингвистикасы қауымдастығы (ACL антологиясы) - ROUGE - aclanthology.org
-
arXiv - G-Eval - arxiv.org
-
OWASP - LLM01: Жедел енгізу - owasp.org
-
OWASP - Үлкен тілді модель қолданбалары бойынша OWASP үздік 10 - owasp.org
-
Стэнфорд университеті - Кохави және т.б., «Интернеттегі бақыланатын эксперименттер» - stanford.edu
-
arXiv - RAG бағалауы: сауалнама - arxiv.org
-
PubMed Central (PMC) - Тұжырымдама дрейфін зерттеу (PMC) - nih.gov
-
PubMed Central (PMC) - МакХью Коэннің каппасы туралы - nih.gov
-
Google - SRE мониторингі бойынша жұмыс дәптері - google.workbook