Генеративтік жасанды интеллекттегі негізгі модельдер дегеніміз не?

Генеративтік жасанды интеллекттегі негізгі модельдер дегеніміз не?

Қысқа жауап: Іргетас модельдері – кең ауқымды деректер жиынтығында оқытылған, содан кейін көптеген тапсырмаларға (жазу, іздеу, кодтау, кескіндер) шақыру, дәл баптау, құралдар немесе іздеу арқылы бейімделген үлкен, жалпы мақсаттағы жасанды интеллект модельдері. Егер сізге сенімді жауаптар қажет болса, оларды импровизациялауға жол бермей, жерге қосумен (RAG сияқты), айқын шектеулермен және тексерулермен жұптастырыңыз.

Негізгі қорытындылар:

Анықтамасы : Әр модельге бір тапсырма емес, көптеген тапсырмалар бойынша қайта қолданылатын бір кеңінен үйретілген базалық модель.

Бейімделу : Мінез-құлықты басқару үшін нұсқау беруді, дәл баптауды, LoRA/адаптерлерді, RAG және құралдарды пайдаланыңыз.

Генеративтік сәйкестік : Олар мәтінді, кескінді, аудионы, кодты және мультимодальды мазмұнды жасауға мүмкіндік береді.

Сапа сигналдары : Басқарылуды, галлюцинацияларды азайтуды, мультимодальды қабілетті және тиімді қорытынды жасауды басымдыққа алыңыз.

Тәуекелді бақылау : галлюцинацияларға, бейтараптыққа, құпиялылықтың бұзылуына және басқару мен тестілеу арқылы жедел инъекцияға жоспар құру.

Генеративті жасанды интеллекттегі негізгі модельдер дегеніміз не? Инфографика

Осыдан кейін оқуға болатын мақалалар:

🔗 Жасанды интеллект компаниясы дегеніміз не
Жасанды интеллект фирмаларының өнімдерді, командаларды және кіріс модельдерін қалай құратынын түсініңіз.

🔗 AI коды қалай көрінеді
Python модельдерінен бастап API-лерге дейінгі жасанды интеллект кодының мысалдарын қараңыз.

🔗 Жасанды интеллект алгоритмі дегеніміз не
Жасанды интеллект алгоритмдерінің не екенін және олардың қалай шешім қабылдайтынын біліңіз.

🔗 AI технологиясы дегеніміз не
Автоматтандыруды, аналитиканы және ақылды қолданбаларды қолдайтын негізгі жасанды интеллект технологияларын зерттеңіз.

1) Іргетас модельдері - тұмансыз анықтама 🧠

Негізгі модель - бұл кең ауқымды деректерге (әдетте тонналап) үйретілген үлкен, жалпы мақсаттағы жасанды интеллект моделі, сондықтан оны тек бір ғана емес, көптеген тапсырмаларға бейімдеуге болады ( NIST , Stanford CRFM ).

Бөлек модель құрудың орнына:

  • электрондық пошталарды жазу

  • сұрақтарға жауап беру

  • PDF файлдарын қорытындылау

  • кескіндерді жасау

  • қолдау билеттерін жіктеу

  • тілдерді аудару

  • код ұсыныстарын жасау

...сіз «әлемді анық емес статистикалық түрде үйренетін» бір үлкен базалық модельді жаттықтырасыз, содан кейін оны нақты тапсырмаларға бағыттаулар, дәлдеу немесе қосымша құралдар арқылы бейімдейсіз Bommasani et al., 2021 ).

Басқаша айтқанда: бұл сіз басқара алатын жалпы қозғалтқыш

Иә, кілт сөз - «жалпы». Міне, барлық амал осы.

2) Генеративтік жасанды интеллекттегі негізгі модельдер дегеніміз не? (Олар қалай сәйкес келеді) 🎨📝

Сонымен, генеративті жасанды интеллекттегі негізгі модельдер дегеніміз не? Олар жаңа мазмұнды - мәтінді, кескіндерді, аудионы, кодты, бейнені және олардың барлығының қоспаларын жасай NIST , NIST генеративті жасанды интеллект профилі ).

Генеративтік жасанды интеллект тек «спам / спам емес» сияқты белгілерді болжаумен ғана шектелмейді. Бұл адам жасағандай көрінетін нәтижелерді шығарумен байланысты.

  • абзацтар

  • өлеңдер

  • өнім сипаттамалары

  • иллюстрациялар

  • әуендер

  • қолданба прототиптері

  • синтетикалық дауыстар

  • кейде сенімсіз сандырақ 🙃

Іргетас үлгілері әсіресе жақсы, себебі:

  • олар үлкен деректер жиынтығынан кең ауқымды үлгілерді сіңірді ( Bommasani et al., 2021 )

  • олар жаңа сұрақтарға (тіпті ерекше сұрақтарға да) жалпылай алады ( Brown және т.б., 2020 )

  • оларды нөлден бастап қайта даярлаусыз ондаған өнім үшін қайта пайдалануға болады ( Bommasani et al., 2021 )

Олар «негізгі қабат» - нан қамыры сияқты. Одан багет, пицца немесе даршын тоқаштарын пісіруге болады... бұл тамаша метафора емес, бірақ түсіндіңіз ғой 😄

3) Неліктен олар бәрін өзгертті (және неге адамдар олар туралы айтуды тоқтатпайды) 🚀

Модельдер негізі қаланғанға дейін көптеген жасанды интеллект тапсырмаларға байланысты болды:

  • көңіл-күйді талдау үшін модельді үйрету

  • аудармаға басқасын үйрету

  • кескіндерді жіктеуге басқасын үйрету

  • аталған нысанды тану үшін басқасын оқыту

Бұл жұмыс істеді, бірақ баяу, қымбат және біршама... сынғыш болды.

Іргетас модельдері оны өзгертті:

  • бір рет алдын ала жаттығу (үлкен күш жұмсау)

  • барлық жерде қайта пайдалану (үлкен пайда) ( Bommasani және т.б., 2021 )

Бұл қайта пайдалану көбейткіш болып табылады. Компаниялар дөңгелекті 20 рет қайта ойлап табудың орнына, бір модель отбасының үстіне 20 мүмкіндік жасай алады.

Сонымен қатар, пайдаланушы тәжірибесі табиғи бола түсті:

  • сіз «жіктегішті» пайдаланбайсыз

  • Сіз модельмен ешқашан ұйықтамайтын көмекшіл әріптес сияқты сөйлесесіз ☕🤝

Кейде бұл әріптесінің бәрін сенімді түрде дұрыс түсінбейтініне ұқсайды, бірақ өсу керек.

4) Негізгі идея: алдын ала дайындық + бейімделу 🧩

Барлық дерлік іргетас модельдері белгілі бір үлгіні ұстанады ( Stanford CRFM , NIST ):

Алдын ала дайындық («интернетке ұқсас» кезең) 📚

Модель өзін-өзі басқаратын оқытуды ( NIST ) пайдалана отырып, ауқымды, кең деректер жиынтықтарында оқытылады. Тіл модельдері үшін бұл әдетте жоқ сөздерді немесе келесі белгіні болжауды білдіреді ( Devlin et al., 2018 , Brown et al., 2020 ).

жалпы көріністерді үйретуде :

  • грамматика

  • фактілер (түрлі)

  • ойлау үлгілері (кейде)

  • жазу стильдері

  • код құрылымы

  • жалпы адамзаттық ниет

Бейімделу («іс жүзінде қолдану» кезеңі) 🛠️

Содан кейін сіз оны біреуін немесе бірнешеуін пайдаланып бейімдейсіз:

  • нұсқау (қарапайым тілдегі нұсқаулар)

  • нұсқаулықты баптау (нұсқауларды орындауға үйрету) ( Вэй және т.б., 2021 )

  • дәл баптау (домен деректеріңізді оқыту)

  • LoRA/адаптерлер (жеңіл баптау әдістері) ( Hu және т.б., 2021 )

  • RAG (алып алу арқылы кеңейтілген генерация - модель сіздің құжаттарыңызды қарастырады) ( Льюис және т.б., 2020 )

  • құралдарды пайдалану (функцияларды шақыру, ішкі жүйелерді шолу және т.б.)

Міне, сондықтан да сол базалық модель романтикалық көрініс жаза алады... содан кейін бес секундтан кейін SQL сұрауын түзетуге көмектеседі 😭

5) Іргетас моделінің жақсы нұсқасын не құрайды? ✅

Бұл адамдар өткізіп жіберетін, кейін өкінетін бөлім.

«Жақсы» іргетас моделі тек «үлкенірек» емес. Үлкенірек көмектеседі, әрине... бірақ бұл жалғыз нәрсе емес. Іргетас моделінің жақсы нұсқасы әдетте мыналарды қамтиды:

Күшті жалпылау 🧠

Ол көптеген тапсырмаларды тапсырмаға тән қайта даярлауды қажет етпей жақсы орындайды ( Bommasani et al., 2021 ).

Рульді басқару және басқару мүмкіндігі 🎛️

Ол келесі нұсқауларды сенімді түрде орындай алады:

  • «қысқаша болыңыз»

  • «Оқылған нүктелерді пайдаланыңыз»

  • «достық тонмен жазыңыз»

  • «Құпия ақпаратты жарияламаңыз»

Кейбір модельдер ақылды, бірақ тайғақ. Душта сабын ұстауға тырысқандай. Пайдалы, бірақ тұрақсыз 😅

Галлюцинацияға бейімділіктің төмендігі (немесе кем дегенде ашық белгісіздік) 🧯

Ешбір модель галлюцинациядан иммунитетке ие емес, бірақ жақсылары:

Жақсы мультимодальды қабілет (қажет болған жағдайда) 🖼️🎧

Егер сіз суреттерді оқитын, диаграммаларды түсіндіретін немесе дыбысты түсінетін көмекшілерді құрастырып жатсаңыз, мультимодальдылық өте маңызды ( Radford et al., 2021 ).

Тиімді қорытынды⚡

Кідіріс пен шығын маңызды. Күшті, бірақ баяу модель дөңгелегі жарылған спорттық көлікке ұқсайды.

Қауіпсіздік және туралау тәртібі 🧩

Тек «бәрінен бас тарту» ғана емес, сонымен қатар:

  • зиянды нұсқаулардан аулақ болыңыз

  • бейімділікті азайту

  • сезімтал тақырыптарды абайлап қарастырыңыз

  • қарапайым джейлбрейк әрекеттеріне қарсы тұру (біршама...) ( NIST AI RMF 1.0 , NIST генеративті AI профилі )

Құжаттама + экожүйе 🌱

Бұл құрғақ естіледі, бірақ шындық:

  • құрал-саймандар

  • бағалау белдіктері

  • орналастыру опциялары

  • кәсіпорындық бақылау

  • дәл баптауды қолдау

Иә, «экожүйе» - бұл түсініксіз сөз. Мен де оны жек көремін. Бірақ бұл маңызды.

6) Салыстыру кестесі - негізгі модельдердің кең таралған нұсқалары (және олар неге пайдалы) 🧾

Төменде практикалық, сәл жетілмеген салыстыру кестесі берілген. Бұл «бірыңғай шынайы тізім» емес, ол адамдардың табиғатта таңдайтын нәрсесіне көбірек ұқсайды.

құрал / модель түрі аудитория бағалы неге жұмыс істейді
Меншік LLM (чат стилінде) жылдамдық пен жылтырлықты қалайтын командалар пайдалануға негізделген / жазылым Нұсқаулықты керемет орындау, жалпы өнімділік жоғары, әдетте «қалауыңыздан тыс» жақсы 😌
Ашық салмақты LLM (өзін-өзі орналастыруға болатын) бақылауды қалайтын құрылысшылар инфрақұрылым шығындары (және бас аурулары) Теңшелетін, құпиялылыққа қолайлы, жергілікті жерде жұмыс істей алады... егер сіз түн ортасында ойын-сауықпен айналысуды ұнататын болсаңыз
Диффузиялық кескін генераторы шығармашылық мамандар, дизайн топтары тегіннен ақылыға дейін Тамаша кескін синтезі, стиль әртүрлілігі, итерациялық жұмыс ағындары (сонымен қатар: саусақтарыңыз жұмыс істемеуі мүмкін) ✋😬 ( Хо және т.б., 2020 , Ромбах және т.б., 2021 )
Көпмодальды «көру тілі» моделі суреттер мен мәтіндерді оқитын қолданбалар қолдануға негізделген Суреттер, скриншоттар, диаграммалар туралы сұрақтар қоюға мүмкіндік береді - таңқаларлықтай ыңғайлы ( Radford et al., 2021 )
Енгізу негізінің моделі іздеу + RAG жүйелері қоңырау шалудың төмен құны Мәтінді семантикалық іздеу, кластерлеу, ұсыныс үшін векторларға айналдырады - тыныш MVP энергиясы ( Карпухин және т.б., 2020 , Дузе және т.б., 2024 )
Сөйлеуден мәтінге түрлендірудің негізгі моделі байланыс орталықтары, жасаушылар пайдалануға негізделген / жергілікті Жылдам транскрипция, көптілді қолдау, шулы дыбыс үшін жеткілікті жақсы (әдетте) 🎙️ ( Сыбырлау )
Мәтінді дыбысқа түрлендірудің негізгі моделі өнім топтары, БАҚ қолдануға негізделген Табиғи дауыс генерациясы, дауыс стильдері, баяндау - қорқыныштыға айналуы мүмкін ( Шен және т.б., 2017 )
Кодқа бағытталған LLM әзірлеушілер пайдалануға негізделген / жазылым Код үлгілерінде, жөндеуде, рефакторларда жақсырақ... дегенмен, әлі де ойды оқу құралы емес 😅

«Негізгі модель» тек «чатбот» дегенді білдірмейтініне назар аударыңыз. Кірістірілген және сөйлеу модельдері де негізге ұқсас болуы мүмкін, себебі олар кең ауқымды және тапсырмалар бойынша қайта пайдалануға болады ( Bommasani және т.б., 2021 , NIST ).

7) Жақыннан қарау: тілдік базалық модельдер қалай үйренеді (вибрациялық нұсқасы) 🧠🧃

Тілдік базалық модельдер (көбінесе LLM деп аталады) әдетте мәтіннің үлкен жинақтарында оқытылады. Олар белгілерді болжау арқылы үйренеді ( Brown et al., 2020 ). Болды. Құпия сиқырлы шаң жоқ.

Бірақ сиқыр мынада: токендерді болжау модельді құрылымды үйренуге мәжбүр етеді ( CSET ):

  • грамматика және синтаксис

  • тақырыптық қатынастар

  • ойлау тәрізді үлгілер (кейде)

  • ойдың жалпы тізбегі

  • адамдардың заттарды қалай түсіндіретіні, дауласатыны, кешірім сұрайтыны, келіссөздер жүргізетіні, үйрететіні

Бұл адамдардың қалай әрекет ететінін «түсінбей» миллиондаған әңгімелерді еліктеуді үйренумен бірдей. Бұл жұмыс істемеуі керек сияқты... бірақ соған қарамастан жұмыс істей береді.

Бір аздап асыра сілтеу: бұл негізінен адам жазғанын алып ықтималдық миына сығымдаумен бірдей.
Тағы да, бұл метафора аздап қарғыс атқыр. Бірақ біз қозғаламыз 😄

8) Жақыннан қарау: диффузиялық модельдер (неліктен кескіндер басқаша жұмыс істейді) 🎨🌀

Кескін негізінің модельдері көбінесе диффузия әдістерін қолданады ( Ho және т.б., 2020 , Rombach және т.б., 2021 ).

Дөрекі идея:

  1. суреттер негізінен теледидарда статикалық күйде болғанша шуыл қосу

  2. шуды біртіндеп өзгерту үшін модельді үйретіңіз

  3. генерация кезінде шуылмен бастаңыз және шақыру арқылы кескінге «шуды азайтыңыз» ( Ho және т.б., 2020 )

Міне, сондықтан сурет генерациялау фотосуретті «әзірлеу» сияқты сезіледі, бірақ фотосурет супермаркет дәлізінде кроссовка киген айдаһардың бейнесін көрсетеді 🛒🐉

Диффузиялық модельдер жақсы, себебі:

  • олар жоғары сапалы визуалды бейнелерді жасайды

  • оларды мәтін қатты басшылыққа ала алады

  • олар итеративті жетілдіруді (вариациялар, сурет салу, масштабтау) қолдайды ( Ромбах және т.б., 2021 )

Олар кейде мыналармен де күреседі:

  • суреттердің ішіндегі мәтінді көрсету

  • анатомиялық бөлшектердің ұсақ бөлшектері

  • көріністердегі кейіпкердің сәйкестігінің тұрақтылығы (жақсарып келеді, бірақ сонда да)

9) Жақыннан қарау: мультимодальды іргетас модельдері (мәтін + суреттер + аудио) 👀🎧📝

Мультимодальды базалық модельдер бірнеше деректер түрлерін түсінуге және жасауға бағытталған:

Неліктен бұл нақты өмірде маңызды:

  • тұтынушыларды қолдау скриншоттарды түсіндіре алады

  • қолжетімділік құралдары кескіндерді сипаттай алады

  • білім беру қолданбалары диаграммаларды түсіндіре алады

  • жасаушылар форматтарды тез ремикс жасай алады

  • бизнес құралдары басқару тақтасының скриншотын «оқып», оны қорытындылай алады

Сорғыштың астында мультимодальды жүйелер көбінесе көріністерді сәйкестендіреді:

  • суретті ендірілген элементтерге айналдыру

  • мәтінді ендірілген мәтіндерге айналдыру

  • «Мысық» пен мысық пиксельдері сәйкес келетін ортақ кеңістікті үйреніңіз 😺 ( Рэдфорд және т.б., 2021 )

Ол әрқашан талғампаз бола бермейді. Кейде көрпе сияқты тігілген. Бірақ жарайды.

10) Дәл баптау vs prompting vs RAG (негізгі модельді қалай бейімдейсіз) 🧰

Егер сіз белгілі бір салаға (заңдық, медициналық, тұтынушыларға қызмет көрсету, ішкі білім) арналған негізгі модельді практикалық етуге тырыссаңыз, сізде бірнеше рычаг бар:

Шабыттандыратын 🗣️

Ең жылдам және қарапайым.

  • Артықшылықтары: нөлдік жаттығу, лезде қайталау

  • кемшіліктері: сәйкессіз болуы мүмкін, контекст шектеулері, сұраныстың әлсіздігі

Дәл баптау 🎯

Мысалдарыңыз бойынша модельді одан әрі жаттықтырыңыз.

  • артықшылықтары: тұрақты мінез-құлық, жақсырақ домен тілі, сұрау ұзындығын қысқарта алады

  • кемшіліктері: құны, деректер сапасына қойылатын талаптар, шамадан тыс жабдықтау қаупі, техникалық қызмет көрсету

Жеңіл тюнинг (LoRA / адаптерлер) 🧩

Дәл баптаудың тиімдірек нұсқасы ( Hu et al., 2021 ).

  • артықшылықтары: арзанырақ, модульдік, ауыстыру оңайырақ

  • кемшіліктері: әлі де оқыту құбыры мен бағалау қажет

RAG (алып алу арқылы кеңейтілген генерация) 🔎

Модель сіздің білім базаңыздан тиісті құжаттарды алып, оларды пайдаланып жауаптар береді ( Льюис және т.б., 2020 ).

  • Артықшылықтары: жаңартылған білім, ішкі дәйексөздер (егер сіз оны енгізсеңіз), қайта даярлаудың аздығы

  • кемшіліктері: іздеу сапасы оны жақсартуы немесе бұзуы мүмкін, жақсы бөліктеу + ендірмелерді қажет етеді

Шынайы әңгіме: көптеген сәтті жүйелер шақыру мен RAG-ты біріктіреді. Дәл баптау күшті, бірақ әрқашан қажет емес. Адамдар оған тым тез кіріседі, себебі ол әсерлі естіледі 😅

11) Тәуекелдер, шектеулер және «мұны соқыр түрде таратпаңыз» бөлімі 🧯😬

Іргетас модельдері күшті, бірақ олар дәстүрлі бағдарламалық жасақтама сияқты тұрақты емес. Олар көбінесе ... өзіне деген сенімділігі төмен талантты тағылымдамадан өтушіге ұқсайды.

Жоспарлаудың негізгі шектеулері:

Галлюцинациялар 🌀

Модельдер мыналарды ойлап табуы мүмкін:

  • жалған дереккөздер

  • дұрыс емес фактілер

  • ықтимал, бірақ қате қадамдар ( Джи және т.б., 2023 )

Жеңілдетулер:

  • Негізделген контексті бар RAG ( Льюис және т.б., 2020 )

  • шектеулі шығыстар (схемалар, құрал шақырулары)

  • «болжамаңыз» деген нақты нұсқаулық

  • тексеру деңгейлері (ережелер, өзара тексерулер, адами шолу)

Жалған көзқарастар мен зиянды әдеттер ⚠️

Оқыту деректері адамдарды көрсететіндіктен, сіз мыналарды ала аласыз:

Жеңілдетулер:

Деректердің құпиялылығы және олардың ағып кетуі 🔒

Егер сіз құпия деректерді модельдің соңғы нүктесіне енгізсеңіз, мыналарды білуіңіз керек:

  • ол қалай сақталады

  • жаттығу үшін пайдаланыла ма, жоқ па

  • қандай журналдар бар

  • Ұйымыңыздың қажеттіліктерін не басқарады ( NIST AI RMF 1.0 )

Жеңілдетулер:

Жедел инъекция (әсіресе RAG кезінде) 🕳️

Егер модель сенімсіз мәтінді оқыса, сол мәтін оны басқаруға тырысуы мүмкін:

Жеңілдетулер:

Қорқытайын деп жатқан жоқпын. Тек... еден тақтайларының қай жерде сықырлайтынын білген дұрыс.

12) Қолдану жағдайыңызға арналған іргетас үлгісін қалай таңдауға болады 🎛️

Егер сіз іргетас үлгісін таңдасаңыз (немесе оның үстіне құрылыс салсаңыз), келесі нұсқаулардан бастаңыз:

Не жасап жатқаныңызды анықтаңыз 🧾

  • тек мәтін

  • суреттер

  • аудио

  • аралас мультимодальды

Фактілік шкалаңызды орнатыңыз 📌

Егер сізге жоғары дәлдік қажет болса (қаржы, денсаулық сақтау, заң, қауіпсіздік):

  • сізге RAG қажет болады ( Льюис және т.б., 2020 )

  • сізге валидация қажет болады

  • Сізге адам шолуы қажет болады (кем дегенде кейде) ( NIST AI RMF 1.0 )

Кешіктіру мақсатын анықтаңыз⚡

Чат лезде. Топтық қорытындылау баяуырақ болуы мүмкін.
Егер сізге лезде жауап қажет болса, модель өлшемі мен хостинг мәселесін ескеріңіз.

Карта құпиялылығы және сәйкестік талаптары 🔐

Кейбір командалар мыналарды талап етеді:

Бюджеттің тепе-теңдігін сақтаңыз - және операцияға шыдамдылық танытыңыз 😅

Өзіндік хостинг басқару мүмкіндігін береді, бірақ күрделілікті арттырады.
Басқарылатын API интерфейстері оңай, бірақ қымбат және аз реттелетін болуы мүмкін.

Кішкентай практикалық кеңес: алдымен оңай нәрсемен прототип жасаңыз, содан кейін кейінірек нығайтыңыз. «Мінсіз» орнатудан бастау әдетте бәрін баяулатады.

13) Генеративтік жасанды интеллекттегі негізгі модельдер дегеніміз не? (Жылдам ойлау моделі) 🧠✨

Қайта оралайық. Генеративтік жасанды интеллекттегі негізгі модельдер дегеніміз не?

Олар:

  • кең көлемді деректерге үйретілген үлкен, жалпы модельдер ( NIST , Stanford CRFM )

  • мазмұнды (мәтін, суреттер, аудио және т.б.) жасауға қабілетті ( NIST генеративті жасанды интеллект профилі )

  • көптеген тапсырмаларға шақырулар, дәл баптау және қалпына келтіру арқылы бейімделе алады ( Bommasani et al., 2021 )

  • қазіргі заманғы генеративті жасанды интеллект өнімдерінің көпшілігін қуаттандыратын негізгі қабат

Олар бір ғана архитектура немесе бренд емес. Олар платформа сияқты әрекет ететін модельдер санаты.

Іргетас үлгісі калькуляторға емес, ас үйге көбірек ұқсайды. Онда көптеген тамақ пісіруге болады. Егер назар аудармасаңыз, тостты да жағуға болады... бірақ ас үй әлі де өте ыңғайлы 🍳🔥

14) Қысқаша мазмұнын айтып, өзіңізбен бірге алыңыз ✅🙂

Іргетас модельдері - генеративті жасанды интеллекттің қайта пайдалануға болатын қозғалтқыштары. Олар кеңінен оқытылады, содан кейін шақыру, дәл баптау және қалпына келтіру арқылы нақты тапсырмаларға бейімделеді ( NIST , Stanford CRFM ). Олар таңғажайып, ретсіз, күшті және кейде күлкілі болуы мүмкін - барлығы бірден.

Қысқаша мазмұны:

Егер сіз генеративті жасанды интеллект арқылы бірдеңе салып жатсаңыз, іргетас модельдерін түсіну міндетті емес. Бұл ғимарат тұрған бүкіл қабат... және иә, кейде еден аздап дірілдейді 😅

Жиі қойылатын сұрақтар

Қарапайым тілмен айтқанда, іргетас үлгілері

Негізгі модель - бұл кең ауқымды деректерге үйретілген, сондықтан оны көптеген тапсырмалар үшін қайта пайдалануға болатын үлкен, жалпы мақсаттағы жасанды интеллект моделі. Әр жұмыс үшін бір модель құрудың орнына, сіз күшті «базалық» модельден бастап, оны қажетінше бейімдейсіз. Бұл бейімделу көбінесе шақыру, дәл баптау, іздеу (RAG) немесе құралдар арқылы жүзеге асады. Негізгі идея - кеңдік пен басқару.

Негізгі модельдер дәстүрлі тапсырмаға тән жасанды интеллект модельдерінен қалай ерекшеленеді

Дәстүрлі жасанды интеллект көбінесе әрбір тапсырма үшін жеке модельді, мысалы, сезім талдауын немесе аударманы үйретеді. Негізгі модельдер сол үлгіні өзгертеді: бір рет алдын ала үйретіңіз, содан кейін көптеген мүмкіндіктер мен өнімдерде қайта пайдаланыңыз. Бұл қайталанатын күш-жігерді азайтып, жаңа мүмкіндіктерді жеткізуді жеделдете алады. Компромисс - шектеулер мен тестілеуді қоспасаңыз, олар классикалық бағдарламалық жасақтамаға қарағанда болжамды болуы аз болуы мүмкін.

Генеративті жасанды интеллекттегі негізгі модельдер

Генеративтік жасанды интеллектте негізгі модельдер мәтін, кескіндер, аудио, код немесе мультимодальды шығыстар сияқты жаңа мазмұнды шығара алатын негізгі жүйелер болып табылады. Олар тек таңбалаумен немесе жіктеумен шектелмейді; олар адам жасаған жұмысқа ұқсайтын жауаптар жасайды. Олар алдын ала дайындық кезінде кең үлгілерді үйренетіндіктен, көптеген сұраныс түрлері мен форматтарын өңдей алады. Олар көптеген заманауи генеративтік тәжірибелердің артындағы «негізгі қабат».

Алдын ала дайындық кезінде базалық модельдер қалай үйренеді

Көптеген тілдік негіз модельдері келесі сөз немесе мәтіндегі жетіспейтін сөздер сияқты белгілерді болжау арқылы үйренеді. Бұл қарапайым мақсат оларды грамматика, стиль және түсіндірудің жалпы үлгілері сияқты құрылымды іштей қабылдауға итермелейді. Олар сондай-ақ әлемдік білімнің көп бөлігін сіңіре алады, бірақ әрқашан сенімді бола бермейді. Нәтижесінде кейінірек нақты жұмысқа бағыттай алатын күшті жалпы көрініс пайда болады.

Шақыру, дәл баптау, LoRA және RAG арасындағы айырмашылық

Нұсқаулықтарды пайдаланып мінез-құлықты басқарудың ең жылдам жолы - нұсқау беру, бірақ ол нәзік болуы мүмкін. Дәл реттеу модельді мысалдарыңызда тұрақты мінез-құлық үшін одан әрі үйретеді, бірақ ол шығындар мен техникалық қызмет көрсетуді арттырады. LoRA/адаптерлер - көбінесе арзанырақ және модульдік болып табылатын жеңілірек дәл реттеу тәсілі. RAG тиісті құжаттарды алады және сол контекстті пайдаланып модельге жауап береді, бұл жаңалық пен негізге көмектеседі.

Дәл баптаудың орнына RAG қашан қолданылады

RAG көбінесе ағымдағы құжаттарыңызға немесе ішкі білім базаңызға негізделген жауаптар қажет болған кезде тиімді таңдау болып табылады. Ол модельге генерация кезінде тиісті контекст беру арқылы «болжауды» азайта алады. Дәл баптау сізге тұрақты стиль, домендік фраза немесе шақыру сенімді түрде жасай алмайтын мінез-құлық қажет болған кезде жақсырақ сәйкес келеді. Көптеген практикалық жүйелер дәл баптауға қол жеткізбес бұрын шақыру + RAG біріктіреді.

Галлюцинацияны қалай азайтуға және сенімді жауаптар алуға болады

Жалпы тәсіл - модельді берілген контекстке жақын болу үшін оны іздеу (RAG) арқылы негіздеу. Сондай-ақ, шығыстарды схемалармен шектеуге, негізгі қадамдар үшін құрал шақыруларын талап етуге және нақты «болжама» нұсқауларын қосуға болады. Тексеру қабаттары да маңызды, мысалы, ережелерді тексеру, айқаспалы тексеру және жоғары деңгейлі пайдалану жағдайлары үшін адами шолу. Модельді әдепкі бойынша шындық көзі емес, ықтималдық көмекші ретінде қарастырыңыз.

Өндірістегі іргетас модельдерімен байланысты ең үлкен тәуекелдер

Жалпы тәуекелдерге галлюцинациялар, оқу деректерінен алынған біржақты немесе зиянды үлгілер және құпия деректер дұрыс өңделмеген жағдайда құпиялылықтың бұзылуы жатады. Жүйелер, әсіресе модель құжаттардан немесе веб-мазмұннан сенімсіз мәтінді оқыған кезде, жедел енгізуге осал болуы мүмкін. Әсер ету шараларына әдетте басқару, қызыл топ құру, кіруді бақылау, қауіпсіз шақыру үлгілері және құрылымдық бағалау кіреді. Бұл тәуекелдерді кейінірек түзетудің орнына ертерек жоспарлаңыз.

Жедел инъекция және оның RAG жүйелерінде неге маңызды екендігі

Жедел енгізу – сенімсіз мәтін «алдыңғы нұсқауларды елемеу» немесе «құпияларды ашу» сияқты нұсқауларды қайта жазуға тырысқан кезде қолданылады. RAG жүйесінде алынған құжаттарда зиянды нұсқаулар болуы мүмкін, ал егер абай болмасаңыз, модель оларды орындауы мүмкін. Жалпы тәсіл - жүйелік нұсқауларды оқшаулау, алынған мазмұнды зарарсыздандыру және тек шақыруларға емес, құралға негізделген саясаттарға сүйену. Қарсылас енгізулермен тестілеу әлсіз жерлерді анықтауға көмектеседі.

Қолдану жағдайыңызға арналған іргетас үлгісін қалай таңдауға болады

Алдымен не жасау керектігін анықтаңыз: мәтін, суреттер, аудио, код немесе мультимодальды шығыстар. Содан кейін фактілік шкалаңызды орнатыңыз - жоғары дәлдіктегі домендер көбінесе жерге қосуды (RAG), валидацияны және кейде адами шолуды қажет етеді. Кідіріс пен шығындарды ескеріңіз, себебі баяу немесе қымбат күшті модельді жеткізу қиын болуы мүмкін. Соңында, картаның құпиялылығы мен сәйкестігі орналастыру опциялары мен басқару элементтеріне сәйкес келуі керек.

Сілтемелер

  1. Ұлттық стандарттар және технологиялар институты (NIST) - Негізгі модель (Глоссарий термині) - csrc.nist.gov

  2. Ұлттық стандарттар және технологиялар институты (NIST) - NIST AI 600-1: Генеративтік жасанды интеллект профилі - nvlpubs.nist.gov

  3. Ұлттық стандарттар және технологиялар институты (NIST) - NIST AI 100-1: Жасанды интеллект тәуекелдерін басқару құрылымы (AI RMF 1.0) - nvlpubs.nist.gov

  4. Стэнфорд іргетас модельдерін зерттеу орталығы (CRFM) - Есеп - crfm.stanford.edu

  5. arXiv - Негізгі үлгілердің мүмкіндіктері мен тәуекелдері туралы (Bommasani және т.б., 2021) - arxiv.org

  6. arXiv - Тіл модельдері аз ғана уақыт ішінде үйренеді (Brown және т.б., 2020) - arxiv.org

  7. arXiv - Білімді көп қажет ететін NLP тапсырмалары үшін іздеу арқылы кеңейтілген ұрпақ (Lewis және т.б., 2020) - arxiv.org

  8. arXiv - LoRA: Үлкен тілдік модельдердің төмен рангілі бейімделуі (Hu және т.б., 2021) - arxiv.org

  9. arXiv - BERT: Тілді түсінуге арналған терең екі бағытты трансформаторларды алдын ала оқыту (Девлин және т.б., 2018) - arxiv.org

  10. arXiv - Нақтыланған тілдік модельдер нөлдік жылдамдықпен үйренушілер болып табылады (Wei және т.б., 2021) - arxiv.org

  11. ACM сандық кітапханасы - Табиғи тіл генерациясындағы галлюцинацияға шолу (Джи және т.б., 2023) - dl.acm.org

  12. arXiv - Табиғи тілді бақылаудан аударылатын визуалды модельдерді үйрену (Radford et al., 2021) - arxiv.org

  13. arXiv - Шуды азайтудың диффузия ықтималдық модельдері (Хо және т.б., 2020) - arxiv.org

  14. arXiv - Жасырын диффузиялық модельдермен жоғары ажыратымдылықтағы кескін синтезі (Rombach және т.б., 2021) - arxiv.org

  15. arXiv - Ашық домендік сұрақтарға жауап беруге арналған тығыз үзінділерді іздеу (Карпухин және т.б., 2020) - arxiv.org

  16. arXiv - Faiss кітапханасы (Douze және т.б., 2024) - arxiv.org

  17. OpenAI - Whisper-ді таныстыру - openai.com

  18. arXiv - Mel спектрограммасы болжамдары бойынша WaveNet кондиционерлеу арқылы табиғи TTS синтезі (Shen және т.б., 2017) - arxiv.org

  19. Джорджтаун университетінің Қауіпсіздік және жаңа технологиялар орталығы (CSET) - Келесі сөзді болжаудың таңқаларлық күші: үлкен тілдік модельдер түсіндірілді (1-бөлім) - cset.georgetown.edu

  20. USENIX - Үлкен тілдік модельдерден оқыту деректерін алу (Carlini және т.б., 2021) - usenix.org

  21. OWASP - LLM01: Жедел енгізу - genai.owasp.org

  22. arXiv - Сіз сұрағаннан да көп нәрсе: Қолданбаға интеграцияланған үлкен тілдік модельдерге жаңа жедел енгізу қауіптерін кешенді талдау (Greshake және т.б., 2023) - arxiv.org

  23. OWASP шпаргалкалар сериясы - LLM жедел инъекциясының алдын алу шпаргасы - cheatsheetseries.owasp.org

Ресми AI көмекші дүкенінен ең соңғы AI-ді табыңыз

Біз туралы

Блогқа оралу