Жасанды интеллект тыныш ойланып отырып, бәрі бас изетін сиқырлы қулық сияқты сезінуі мүмкін… күтіңіз, бұл қалай жұмыс ? Жақсы жаңалық. Біз оны түксіз түсіндіреміз, практикалық боламыз және әлі де оны шертуге мәжбүрлейтін бірнеше жетілмеген ұқсастықтарды лақтырамыз. Егер сіз жай ғана түйінді білгіңіз келсе, төмендегі бір минуттық жауапқа өтіңіз; бірақ шынымды айтсам, шамның жанған жері 💡.
Осы мақаладан кейін оқығыңыз келетін мақалалар:
🔗 GPT нені білдіреді
GPT аббревиатурасының қысқаша түсіндірмесі және оның мағынасы.
🔗 AI ақпаратты қайдан алады
AI ақпарат көздерін үйрену, жаттықтыру және сұрақтарға жауап беру үшін пайдаланады.
🔗 AI-ны бизнесіңізге қалай қосуға болады
AI тиімді біріктіру үшін практикалық қадамдар, құралдар және жұмыс процестері.
🔗 AI компаниясын қалай бастауға болады
Идеядан іске қосуға дейін: тексеру, қаржыландыру, топ және орындау.
AI қалай жұмыс істейді? Бір минуттық жауап ⏱️
AI болжау жасау немесе мазмұнды жасау үшін деректерден үлгілерді үйренеді - қолмен жазылған ережелер қажет емес. Жүйе мысалдарды қабылдайды, жоғалту функциясы арқылы оның қаншалықты қате екенін өлшейді және әр жолы азырақ қате болу үшін параметрлерді Шаю, қайталау, жақсарту. Жеткілікті циклдармен ол пайдалы болады. Электрондық хаттарды жіктеу, ісіктерді анықтау, үстел ойындарын ойнау немесе хайкус жазу сияқты оқиға. «Машиналық оқытуда» қарапайым тілді негізге алу үшін IBM шолуы сенімді [1].
Қазіргі заманғы AI - бұл машиналық оқыту. Қарапайым нұсқа: деректерді беру, кірістерден шығыстарға дейінгі салыстыруды үйреніңіз, содан кейін жаңа материалға жалпылаңыз. Сиқырлы-математика емес, есептеу және, шынын айтсақ, өнердің бір шымшымы.
«AI қалай жұмыс істейді?» ✅
Адамдар google-де AI қалай жұмыс істейді? , олар әдетте:
-
олар сене алатын қайта пайдалануға болатын психикалық модель
-
негізгі оқыту түрлерінің картасы, сондықтан жаргон қорқынышты болуды тоқтатады
-
жоғалмай нейрондық желілерге шолу
-
Неліктен трансформаторлар қазір әлемді басқаратын сияқты
-
деректерден орналастыруға дейінгі практикалық құбыр
-
скриншот жасауға және сақтауға болатын жылдам салыстыру кестесі
-
этикаға, біржақтылық пен сенімділікке қатысты қолмен толқындамайтын қоршаулар
Міне, сіз осында аласыз. Егер мен қыдырсам, бұл әсем бағытпен жүру және келесі жолы көшелерді жақсырақ есте сақтау сияқты. 🗺️
Көптеген AI жүйелерінің негізгі ингредиенттері 🧪
AI жүйесін ас үй сияқты елестетіп көріңіз. Төрт ингредиент қайта-қайта көрсетіледі:
-
Деректер — белгілері бар немесе жоқ мысалдар.
-
Модель — параметрлері реттелетін математикалық функция.
-
Объективті - болжамның қаншалықты нашар екенін өлшейтін жоғалту функциясы.
-
Оңтайландыру — жоғалтуды азайту үшін параметрлерді итеретін алгоритм.
Терең оқытуда бұл итеру әдетте кері таралумен градиентті төмендеу – бұл үлкен дыбыс тақтасының қай тұтқасының сықырлағанын анықтаудың тиімді әдісі, содан кейін оны түкті төмен түсіру [2].
Шағын-кейс: Біз сынғыш ережеге негізделген спам сүзгісін бақыланатын шағын үлгіге ауыстырдық. Белгі → өлшем → жаңарту циклдары аптасынан кейін жалған позитивтер төмендеді және қолдау билеттері төмендеді. Ештеңе жоқ - тек таза мақсаттар («ветчина» электрондық хаттарындағы дәлдік) және жақсырақ оңтайландыру.
Бір қарағанда парадигмаларды үйрену 🎓
-
Бақыланатын оқыту
Сіз енгізу-шығару жұптарын қамтамасыз етесіз (белгілері бар фотосуреттер, спам/спам емес деп белгіленген электрондық пошталар). Модель енгізу → шығысты үйренеді. Көптеген практикалық жүйелердің негізі [1]. -
Бақылаусыз оқыту
Белгі жоқ. Құрылым-кластер, қысу, жасырын факторларды табыңыз. Барлау немесе алдын ала дайындық үшін тамаша. -
Өзін-өзі қадағалайтын оқыту
Модель өз белгілерін жасайды (келесі сөзді, жетіспейтін кескін патчын болжау). Шикі деректерді масштабта жаттығу сигналына айналдырады; қазіргі заманғы тіл мен көзқарас үлгілерін негіздейді. -
Оқытуды күшейту
Агент әрекет етеді, сыйақыларды және жиынтық сыйақыны барынша арттыратын саясатты үйренеді. Егер «құндылық функциялары», «саясат» және «уақытша айырмашылықты оқыту» қоңырау соғылса, бұл олардың үйі [5].
Иә, санаттар іс жүзінде бұлыңғыр. Гибридті әдістер қалыпты. Шынайы өмір шатасады; жақсы инженерия оны қай жерде кездестіреді.
Нейрондық желі ішінде бас ауыртпай 🧠
Нейрондық желі кішкентай математикалық бірліктердің (нейрондардың) қабаттарын жинақтайды. Әрбір қабат кірістерді салмақтарымен, қиғаштықтарымен және ReLU немесе GELU сияқты қисық сызықты емеспен түрлендіреді. Алғашқы қабаттар қарапайым мүмкіндіктерді меңгереді; тереңіректері абстракцияларды кодтайды. «Сиқырлы» - егер біз оны композиция , бұл - шағын функциялар тізбегі және сіз өте күрделі құбылыстарды модельдей аласыз.
Жаттығу циклі, тек вибстар:
-
болжау → өлшеу қатесі → тірек арқылы атрибут кінәсі → салмақтарды итеру → қайталау.
Мұны бірнеше топта орындаңыз және әр әнді жақсартатын ебедейсіз биші сияқты, модель саусақтарыңызды басуды тоқтатады. Ыңғайлы, қатаң арқалық тарау үшін [2] қараңыз.
Неліктен трансформаторлар басып алды және «назар» деген нені білдіреді 🧲
кірістің қай бөліктерінің бір-біріне маңыздылығын бірден өлшеу үшін өзіндік назарды пайдаланады Ескі модельдер сияқты сөйлемді қатаң түрде солдан оңға қарай оқудың орнына, трансформатор кез келген жерге қарап, қарым-қатынастарды динамикалық түрде бағалай алады, мысалы, толып жатқан бөлмені сканерлеп, кіммен сөйлесіп жатқанын көру үшін.
Бұл дизайн реттілік модельдеу үшін қайталану мен конвульсияларды азайтып, жаппай параллелизм мен тамаша масштабтауға мүмкіндік береді. Оны бастаған қағаз - Назар аударыңыз - сізге қажет - архитектура мен нәтижелерді көрсетеді [3].
Бір жолда өзіндік назар аудару: сұрау , кілт және мән векторларын жасаңыз; назар аудару үшін ұқсастықтарды есептеу; мәндерді сәйкесінше араластырыңыз. Егжей-тегжейлі, рухы талғампаз.
Ескерту: Трансформаторлар монополия емес, үстемдік етеді. CNN, RNN және ағаш ансамбльдері белгілі бір деректер түрлері мен кідіріс/шығын шектеулері бойынша әлі де жеңіске жетеді. Хайп емес, жұмыс үшін архитектураны таңдаңыз.
AI қалай жұмыс істейді? Сіз шынымен қолданатын практикалық құбыр 🛠️
-
Мәселелерді құрастыру
Сіз нені болжап отырсыз немесе жасайсыз және табыс қалай өлшенеді? -
Деректерді
жинау, қажет болса белгілеу, тазалау және бөлу. Жетіспейтін мәндерді және шеткі жағдайларды күтіңіз. -
Модельдеу
Қарапайымнан бастаңыз. Базалық көрсеткіштер (логистикалық регрессия, градиентті күшейту немесе шағын трансформатор) көбінесе ерлік күрделілікті жеңеді. -
Тренинг
Мақсатты таңдаңыз, оңтайландырғышты таңдаңыз, гиперпараметрлерді орнатыңыз. Қайталау. -
Бағалау
Нақты мақсатқа байланысты кідіртулерді, айқас тексеруді және көрсеткіштерді пайдаланыңыз (дәлдік, F1, AUROC, BLEU, түсініксіздік, кешігу). -
Орналастыру
API артында қызмет көрсетіңіз немесе қолданбаға ендіру. Бақылау кідірісі, құны, өткізу қабілеті. -
Бақылау және басқару
Дрейфті, әділдікті, сенімділікті және қауіпсіздікті бақылаңыз. NIST AI тәуекелдерді басқару құрылымы (GOVERN, MAP, MEASURE, MANAGE) сенімді жүйелерге арналған тәжірибелік бақылау тізімі болып табылады [4].
Шағын-жағдай: көру моделі зертханада жұмыс істеді, содан кейін жарықтандыру өзгерген кезде далаға шықты. Кіріс гистограммаларында белгіленген дрейфті бақылау; жылдам арттыру + дәл баптау соққысы қалпына келтірілді. Қызықсыз ба? Иә. Тиімді ме? Сондай-ақ иә.
Салыстыру кестесі - тәсілдер, олар кім үшін, шамамен құны, не үшін жұмыс істейді 📊
Мақсаты бойынша жетілмеген: сәл біркелкі емес фраза оны адам сезінуге көмектеседі.
| Тәсіл | Идеалды аудитория | Бағасы | Неліктен ол жұмыс істейді / ескертпелер |
|---|---|---|---|
| Бақыланатын оқу | Сарапшылар, өнім топтары | төмен – орташа | Тікелей салыстыру енгізу→белгі. Белгілер бар кезде тамаша; көптеген орналастырылған жүйелердің негізін құрайды [1]. |
| Бақыланбайтын | Деректерді зерттеушілер, ҒЗТКЖ | төмен | Кластерлерді/сығымдарды/жасырын факторларды табады - ашу және алдын ала дайындық үшін жақсы. |
| Өзін-өзі бақылау | Платформа командалары | орташа | Есептеу және деректермен өңделмеген деректер масштабтарынан өз белгілерін жасайды. |
| Оқытуды күшейту | Робототехника, операциялық зерттеулер | орташа – жоғары | Сыйақы сигналдарынан саясатты үйренеді; канон үшін Саттон мен Бартоны оқыңыз [5]. |
| Трансформаторлар | NLP, көру, мультимодальды | орташа – жоғары | Өзіндік назар алыс қашықтықты түсіреді және жақсы параллельді; түпнұсқа қағазды қараңыз [3]. |
| Классикалық ML (ағаштар) | Кестелік бизнес қолданбалары | төмен | Құрылымдық деректер бойынша арзан, жылдам, жиі таң қалдыратын күшті базалық көрсеткіштер. |
| Ережеге негізделген/символдық | Сәйкестік, детерминистік | өте төмен | Мөлдір логика; аудитті қажет ететін гибридтерде пайдалы. |
| Бағалау және тәуекел | Барлығы | өзгеріп отырады | Оны қауіпсіз және пайдалы сақтау үшін NIST компаниясының GOVERN-MAP-MEASURE-MANAGE қолданбасын пайдаланыңыз [4]. |
Баға-ish = деректерді таңбалау + есептеу + адамдар + қызмет көрсету.
Терең сүңгу 1 - жоғалту функциялары, градиенттер және бәрін өзгертетін шағын қадамдар 📉
Үй бағасын өлшеміне қарай болжау үшін сызықты орнатуды елестетіп көріңіз. Сіз (w) және (b) параметрлерін таңдайсыз, болжайды (\hat{y} = wx + b) және қатені орташа квадраттық шығынмен өлшейсіз. Градиент қай бағытқа жылжу керектігін (w) және (b) жоғалтуды азайту үшін тұманда жердің қай жаққа қарай еңісіп жатқанын сезіну сияқты жылдам жүруді көрсетеді. Әр топтамадан кейін жаңартыңыз және сіздің желіңіз шындыққа жақындайды.
Терең торларда бұл үлкенірек топпен бірдей ән. Backprop әр қабаттың параметрлерінің соңғы қатеге қалай әсер еткенін есептейді - осылайша миллиондаған (немесе миллиардтаған) түймелерді дұрыс бағытта жылжыта аласыз [2].
Негізгі интуициялар:
-
Жоғалту пейзажды қалыптастырады.
-
Градиенттер - сіздің компасыңыз.
-
Оқу жылдамдығы қадам өлшемі - тым үлкен, ал сіз тербелесіз, тым кішкентай және ұйықтайсыз.
-
Регуляризация сізді өте жақсы еске түсіретін, бірақ түсінбейтін тотықұс сияқты жаттығулар жинағын жаттаудан сақтайды.
Терең сүңгу 2 - ендіру, шақыру және іздеу 🧭
Енгізу сөздерді, кескіндерді немесе элементтерді ұқсас заттар бір-біріне жақын орналасқан векторлық кеңістіктерге салыстырады. Бұл сізге мүмкіндік береді:
-
мағыналық жағынан ұқсас үзінділерді табыңыз
-
мағынасын түсінетін күшті іздеу
-
тіл үлгісі жазбас бұрын фактілерді іздеуі үшін іздеуді кеңейтілген ұрпақты (RAG) қосыңыз
Нұсқау – генеративті үлгілерді басқару әдісі – тапсырманы сипаттау, мысалдар келтіру, шектеулерді орнату. Мұны өте жылдам интерн үшін өте егжей-тегжейлі сипаттама жазу сияқты елестетіп көріңіз: ынталы, кейде тым сенімді.
Практикалық кеңес: егер сіздің үлгіңіз галлюцинацияланса, іздеуді қосыңыз, шақыруды қатайтыңыз немесе «діріл» орнына негізделген көрсеткіштермен бағалаңыз.
Терең сүңгуір 3 - елессіз бағалау 🧪
Жақсы бағалау жалықтырады - дәл осы мәселе.
-
Құлыпталған сынақ жинағын пайдаланыңыз.
-
Пайдаланушының ауырсынуын көрсететін көрсеткішті таңдаңыз.
-
Ненің көмектескенін білу үшін абляцияны орындаңыз.
-
Сәтсіздіктерді нақты, беймаза мысалдармен тіркеңіз.
Өндірісте мониторинг – бұл ешқашан тоқтамайтын бағалау. Дрейф орын алады. Жаңа сленг пайда болады, сенсорлар қайта калибрленеді және кешегі модель сәл сырғып кетеді. NIST құрылымы тұрақты тәуекелдерді басқару және басқару үшін практикалық анықтама болып табылады, бұл реттелетін құжат емес [4].
Этика, бейтараптық және сенімділік туралы ескерту ⚖️
AI жүйелері олардың деректері мен орналастыру контекстін көрсетеді. Бұл тәуекелді тудырады: топтардың біркелкі емес қателері, таралу кезіндегі сынғыштық. Этикалық пайдалану міндетті емес - бұл кестедегі үлестер. NIST нақты тәжірибелерге назар аударады: тәуекелдер мен әсерлерді құжаттайды, зиянды бейімділіктерді өлшейді, кері қайтаруларды жасайды және ставкалар жоғары болған кезде адамдарды циклде ұстайды [4].
Көмектесетін нақты қозғалыстар:
-
әр түрлі, өкілдік деректер жинау
-
субпопуляциялар бойынша өнімділікті өлшеу
-
құжат үлгі карталары және деректер парақтары
-
тәуекелдер жоғары болған жерде адам бақылауын қосыңыз
-
жүйенің жұмысы белгісіз болған кезде ақаулардан қорғайтын дизайн
AI қалай жұмыс істейді? Психикалық үлгі ретінде сіз қайта пайдалана аласыз 🧩
Кез келген AI жүйесіне қолдануға болатын шағын бақылау тізімі:
-
Мақсаты қандай? Болжау, рейтинг, генерация, бақылау?
-
Оқу сигналы қайдан келеді? Белгілер, өздік бақылау тапсырмалары, марапаттаулар?
-
Қандай архитектура қолданылады? Сызықтық модель, ағаш ансамблі, CNN, RNN, трансформатор [3]?
-
Ол қалай оңтайландырылған? Градиенттің түсу вариациялары/артқы проп [2]?
-
Қандай деректер режимі? Кішігірім таңбаланған жиынтық, таңбаланбаған мәтін мұхиты, имитацияланған орта?
-
Сәтсіздік режимдері мен қорғау шаралары қандай? NIST-тің GOVERN-MAP-MEASURE-MANAGE [4] бойынша құн картасына қиғаштық, дрейф, галлюцинация, кідіріс.
Егер сіз оларға жауап бере алсаңыз, сіз негізінен жүйені түсінесіз - қалғаны - іске асыру туралы егжей-тегжейлі және домендік білім.
Бетбелгі қоюға тұрарлық жылдам дереккөздер 🔖
-
Машиналық оқыту тұжырымдамаларына (IBM) қарапайым тілде кіріспе [1]
-
Диаграммалармен және жұмсақ математикамен кері таралу [2]
-
Тізбекті модельдеуді өзгерткен трансформаторлық қағаз [3]
-
NIST AI тәуекелдерін басқару құрылымы (практикалық басқару) [4]
-
Канондық күшейтуді оқыту оқулығы (тегін) [5]
Жиі қойылатын сұрақтар найзағай ⚡
AI жай ғана статистика ма?
Бұл статистика, сонымен қатар оңтайландыру, есептеу, деректер инженериясы және өнімді жобалау. Статистика - бұл қаңқа; қалғаны бұлшықет.
Үлкен модельдер әрқашан жеңе ме?
Масштабтау көмектеседі, бірақ деректер сапасы, бағалау және орналастыру шектеулері жиі маңыздырақ. Сіздің мақсатыңызға жететін ең кішкентай модель әдетте пайдаланушылар мен әмияндар үшін жақсы.
AI түсіне ала ма?
Түсінуді анықтаңыз . Модельдер деректердегі құрылымды түсіреді және әсерлі түрде жалпылайды; бірақ олардың соқыр жерлері бар және сенімді түрде қателесуі мүмкін. Оларға дана емес, күшті құрал ретінде қара.
Трансформаторлар дәуірі мәңгілік пе?
Мәңгілік емес шығар. Ол қазір басым, өйткені назар параллельді және жақсы масштабталады, бұл түпнұсқалық қағазда көрсетілген [3]. Бірақ зерттеу жүріп жатыр.
AI қалай жұмыс істейді? Тым ұзақ, оқымадым🧵
-
AI деректерден үлгілерді үйренеді, жоғалтуды азайтады және жаңа кірістерге жалпылайды [1,2].
-
Бақыланатын, бақыланбайтын, өзін-өзі қадағалайтын және күшейтетін оқыту негізгі оқыту қондырғылары болып табылады; RL марапаттардан үйренеді [5].
-
Нейрондық желілер миллиондаған параметрлерді тиімді реттеу үшін кері таралу мен градиенттің түсуін пайдаланады [2].
-
Трансформаторлар көптеген дәйекті тапсырмаларда үстемдік етеді, өйткені өзіндік назар аудару масштабта параллельді қарым-қатынастарды түсіреді [3].
-
Нақты əлемдегі AI – бұл орнату жəне басқару арқылы мəселелерді шешуден бастап, жəне NIST жүйесі сізді қауіп туралы адалдықпен қамтамасыз етеді [4].
Егер біреу қайтадан сұраса, AI қалай жұмыс істейді? , сіз күліп, кофеңізді жұтып, айта аласыз: ол деректерден үйренеді, жоғалтуды оңтайландырады және мәселеге байланысты трансформаторлар немесе ағаш ансамбльдері сияқты архитектураларды пайдаланады. Содан кейін көзді қысыңыз, өйткені бұл қарапайым және жасырын түрде аяқталды. 😉
Анықтамалар
[1] IBM - Machine Learning дегеніміз не?
толығырақ оқыңыз
[2] Майкл Нильсен - Кері таралу алгоритмі қалай жұмыс істейді,
толығырақ оқыңыз
[3] Васвани және т.б. - Сізге тек назар аудару керек (arXiv)
толығырақ оқу
[4] NIST - Жасанды интеллект тәуекелдерді басқару құрылымы (AI RMF 1.0)
толығырақ оқу
[5] Саттон және Барто - Оқытуды күшейту: Кіріспе (2-ші басылым)
толығырақ