Жасанды интеллект барлығы басын изеп, тыныш ойланатын сиқырлы амал сияқты сезілуі мүмкін... күте тұрыңыз, бұл қалай жұмыс істейді ? Жақсы жаңалық. Біз оны мағынасыз түсіндіреміз, практикалық болып қаламыз және оны әлі де қызықтыратын бірнеше жетілмеген аналогияларды келтіреміз. Егер сіз тек негізгі ойды алғыңыз келсе, төмендегі бір минуттық жауапқа өтіңіз; бірақ шынымды айтсам, шамның жанатын жері - бөлшектер 💡.
Осыдан кейін оқуға болатын мақалалар:
🔗 GPT нені білдіреді
GPT аббревиатурасы мен оның мағынасын қысқаша түсіндіру.
🔗 Жасанды интеллект ақпаратты қайдан алады
Жасанды интеллект оқу, оқыту және сұрақтарға жауап беру үшін пайдаланатын дереккөздер.
🔗 Бизнесіңізге жасанды интеллектті қалай енгізуге болады
Жасанды интеллектті тиімді интеграциялаудың практикалық қадамдары, құралдары және жұмыс процестері.
🔗 Жасанды интеллект компаниясын қалай бастау керек
Идеядан бастап іске қосуға дейін: тексеру, қаржыландыру, команда және орындау.
Жасанды интеллект қалай жұмыс істейді? Бір минуттық жауап ⏱️
Жасанды интеллект болжамдар жасау немесе мазмұн жасау үшін деректерден үлгілерді үйренеді - қолжазба ережелері қажет емес. Жүйе мысалдарды қабылдайды, жоғалту функциясы арқылы қаншалықты қате екенін өлшейді және ішкі тұтқаларын - параметрлерін - әр жолы аз қате болуы үшін итермелейді. Шайыңыз, қайталаңыз, жақсартыңыз. Жеткілікті циклдармен ол пайдалы болады. Электрондық пошталарды жіктесеңіз де, ісіктерді анықтасаңыз да, үстел ойындарын ойнасаңыз да немесе хайку жазсаңыз да, сол оқиға. «Машиналық оқытудың» қарапайым тілдік негізі үшін IBM-нің шолуы сенімді [1].
Қазіргі заманғы жасанды интеллекттің көпшілігі машиналық оқыту болып табылады. Қарапайым нұсқасы: деректерді енгізу, кірістерден шығыстарға дейінгі бейнелеуді үйрену, содан кейін жаңа нәрселерге жалпылау. Сиқырлы математика, есептеу және, шынын айтсақ, аздап өнер емес.
«Жасанды интеллект қалай жұмыс істейді?» ✅
Адамдар Google-дан AI қалай жұмыс істейді деп , олар әдетте мынаны қалайды:
-
олар сене алатын қайта пайдалануға болатын ақыл-ой моделі
-
жаргон қорқынышты болуды тоқтату үшін негізгі оқу түрлерінің картасы
-
адаспай нейрондық желілердің ішіне шолу
-
Неліктен қазір трансформаторлар әлемді басқарып жатқан сияқты
-
деректерден бастап орналастыруға дейінгі практикалық құбыр
-
Скриншот жасап, сақтай алатын жылдам салыстыру кестесі
-
қолмен тербелмейтін этика, бейтараптық және сенімділік туралы қорғаныс қоршаулары
Міне, осыны көресіз. Егер мен адасып жүрсем, бұл әдейі көрікті жолмен жүріп, келесі жолы көшелерді жақсырақ еске түсіру сияқты. 🗺️
Көптеген жасанды интеллект жүйелерінің негізгі ингредиенттері 🧪
Жасанды интеллект жүйесін ас үй сияқты елестетіп көріңіз. Төрт ингредиент қайта-қайта пайда болады:
-
Деректер — жапсырмалары бар немесе жоқ мысалдар.
-
Модель — реттелетін параметрлері бар математикалық функция.
-
Мақсат — болжамдардың қаншалықты нашар екенін өлшейтін шығын функциясы.
-
Оңтайландыру — шығынды азайту үшін параметрлерді өзгертетін алгоритм.
Терең оқытуда бұл түрткі әдетте кері таралумен градиенттік төмендеу - бұл үлкен дыбыс тақтасындағы қай тұтқаның сықырлағанын анықтап, содан кейін оны сәл төмендетудің тиімді әдісі [2].
Шағын жағдай: Біз сынғыш ережеге негізделген спам сүзгісін шағын бақыланатын модельмен алмастырдық. Бір апта бойы белгі → өлшеу → жаңарту циклдарынан кейін жалған оң нәтижелер азайып, қолдау билеттері төмендеді. Ештеңе қиын емес - тек таза мақсаттар ("вегетариандық" электрондық пошталардың дәлдігі) және жақсы оңтайландыру.
Оқу парадигмаларына қысқаша шолу 🎓
-
Бақылаумен оқыту
Сіз енгізу-шығару жұптарын ұсынасыз (белгілері бар фотосуреттер, спам/спам емес деп белгіленген электрондық пошталар). Модель енгізу → шығаруды үйренеді. Көптеген практикалық жүйелердің негізі [1]. -
Бақылаусыз оқыту
. Белгілер жоқ. Құрылымдық кластерлерді, қысуларды, жасырын факторларды табыңыз. Зерттеу немесе алдын ала оқыту үшін тамаша. -
Өзін-өзі басқаратын оқыту
Модель өзінің белгілерін жасайды (келесі сөзді, жетіспейтін сурет патчын болжайды). Шикі деректерді ауқымды оқыту сигналына айналдырады; заманауи тілдік және көру модельдерінің негізін қалайды. -
Нығайтуды оқыту
Агент әрекет етеді, сыйақы және жинақталған сыйақыны барынша арттыратын саясатты үйренеді. Егер «құндылық функциялары», «саясат» және «уақыт айырмашылығын оқыту» қоңырау шалса - бұл олардың үйі [5].
Иә, санаттар іс жүзінде бұлыңғыр. Гибридті әдістер қалыпты жағдай. Нақты өмір шатастырады; жақсы инженерия онымен өз орнында кездеседі.
Бас ауруынсыз нейрондық желі ішінде 🧠
Нейрондық желі ұсақ математикалық бірліктердің (нейрондардың) қабаттарын жинақтайды. Әрбір қабат кірістерді салмақтармен, ауытқулармен және ReLU немесе GELU сияқты жұмсақ сызықтық еместікпен түрлендіреді. Алғашқы қабаттар қарапайым ерекшеліктерді үйренеді; тереңірек қабаттар абстракцияларды кодтайды. «Сиқыр» - егер біз оны осылай атай алсақ - композиция : тізбекті кіші функциялар және сіз өте күрделі құбылыстарды модельдей аласыз.
Тек вибрациялық жаттығулар циклі:
-
болжам → өлшеу қатесі → артқы тіреуіш арқылы кінәні атрибуттау → салмақты түрту → қайталау.
Мұны топтап орындаңыз, сонда әр әнді жақсартып жатқан ебедейсіз биші сияқты, модель сіздің аяқтарыңызды басуды тоқтатады. Достық және қатаң бэкпроп тарауын [2] қараңыз.
Неліктен трансформаторлар билікті басып алды және «назар аудару» шын мәнінде нені білдіреді 🧲
Трансформаторлар кірістің қай бөліктері бір-біріне маңызды екенін бірден өлшеу үшін өзіне назар
Бұл дизайн тізбекті модельдеу үшін қайталанулар мен шиеленістерді алып тастады, бұл жаппай параллелизм мен тамаша масштабтауға мүмкіндік берді. Оны бастаған мақала - Назар аудару - сізге тек қажет нәрсе - архитектура мен нәтижелерді сипаттайды [3].
Бір жолда өзіне назар аудару: сұраныс , кілт және мән векторларын жасаңыз; назар аударатын салмақты алу үшін ұқсастықтарды есептеңіз; мәндерді сәйкесінше араластырыңыз. Егжей-тегжейлі, талғампаз.
Ескерту: Трансформаторлар монополия емес, басымдыққа ие. CNN, RNN және ағаш ансамбльдері әлі де белгілі бір деректер түрлері мен кідіріс/құн шектеулері бойынша жеңіске жетеді. Жұмысқа арналған архитектураны таңдаңыз, жарнаманы емес.
Жасанды интеллект қалай жұмыс істейді? Сіз шынымен пайдаланатын практикалық құбыр 🛠️
-
Мәселені тұжырымдау
Сіз нені болжап немесе нені тудырып жатырсыз және табыс қалай өлшенеді? -
Деректерді
жинаңыз, қажет болса белгілеңіз, тазалаңыз және бөліңіз. Жоқ мәндер мен шеткі регистрлерді күтіңіз. -
Модельдеу
Қарапайымнан бастаңыз. Негізгі сызықтар (логистикалық регрессия, градиент күшейту немесе шағын трансформатор) көбінесе батырлық күрделіліктен асып түседі. -
Оқыту
Мақсатты таңдаңыз, оңтайландырғышты таңдаңыз, гиперпараметрлерді орнатыңыз. Итерация. -
Бағалау
Нақты мақсатыңызға байланысты күтулерді, айқаспалы тексерулерді және көрсеткіштерді пайдаланыңыз (дәлдік, F1, AUROC, BLEU, шатасу, кідіріс). -
Орналастыру
API артында қызмет етеді немесе қолданбаға ендіреді. Кідіріс уақытын, құнын, өткізу қабілетін бақылаңыз. -
Мониторинг және басқару
Ауытқуды, әділдікті, сенімділікті және қауіпсіздікті бақылаңыз. NIST AI тәуекелдерді басқару құрылымы (GOVERN, MAP, MEASURE, MANAGE) сенімді жүйелердің толық тізімі болып табылады [4].
Мини-кейс: Көру моделі зертханалық жұмысты жақсы орындады, содан кейін жарықтандыру өзгерген кезде далада ауытқып кетті. Кіріс гистограммаларындағы белгіленген ауытқуларды бақылау; жылдам үлкейту + дәл реттеу өнімділікті қалпына келтірді. Зеріктірді ме? Иә. Тиімді ме? Иә.
Салыстыру кестесі - тәсілдер, олар кімге арналған, шамамен құны, неліктен жұмыс істейтіні 📊
Әдейі жетілмеген: сөз тіркестерінің біркелкі болмауы оны адами сезімге бөлейді.
| Тәсіл | Идеал аудитория | Бағасы жоғары | Неліктен жұмыс істейді / Ескертулер |
|---|---|---|---|
| Бақылаудағы оқу | Талдаушылар, өнім топтары | төмен-орташа | Тікелей картаға түсіру кірісі→белгі. Белгілер болған кезде өте жақсы; көптеген орналастырылған жүйелердің негізін құрайды [1]. |
| Бақылаусыз | Деректерді зерттеушілер, ғылыми-зерттеу және тәжірибелік-конструкторлық жұмыстар | төмен | Кластерлерді/сығымдарды/жасырын факторларды табады - ашу және алдын ала оқыту үшін жақсы. |
| Өзін-өзі басқаратын | Платформа командалары | орташа | Есептеулер мен деректер арқылы шикі деректер шкалаларынан өз белгілерін жасайды. |
| Күшейту оқуы | Робототехника, операциялық зерттеулер | орташа-жоғары | Марапаттау сигналдарынан саясатты үйренеді; канон үшін Саттон мен Бартоның еңбектерін оқыңыз [5]. |
| Трансформерлері | НЛБ, көру, мультимодальды | орташа-жоғары | Өзіне назар аудару алыс қашықтықтағы тереңдіктерді түсіреді және жақсы параллельдейді; түпнұсқа мақаланы қараңыз [3]. |
| Классикалық ML (ағаштар) | Кестелік бизнес қолданбалары | төмен | Құрылымдық деректер бойынша арзан, жылдам, көбінесе таңқаларлықтай күшті негізгі көрсеткіштер. |
| Ережеге негізделген/символдық | Сәйкестік, детерминистік | өте төмен | Мөлдір логика; аудиторлық қажет болған кезде гибридтерде пайдалы. |
| Бағалау және тәуекел | Барлығы | өзгереді | Оны қауіпсіз және пайдалы ету үшін NIST-тің GOVERN-MAP-MEASURE-MANAGE функциясын пайдаланыңыз [4]. |
Бағаға ұқсас = деректерді белгілеу + есептеу + адамдар + қызмет көрсету.
Терең үңілу 1 - жоғалту функциялары, градиенттер және бәрін өзгертетін кішкентай қадамдар 📉
Үйдің бағасын өлшемі бойынша болжау үшін сызықты орнатуды елестетіп көріңіз. Сіз (w) және (b) параметрлерін таңдайсыз, (\hat{y} = wx + b) болжайсыз және қателікті орташа квадраттық шығынмен өлшейсіз. Градиент сізге қай бағытта қозғалу керектігін (w) және (b) шығынды ең жылдам азайту керектігін айтады, мысалы, жердің қай бағытта еңіс екенін сезіну арқылы тұманда төмен қарай жүру. Әрбір топтамадан кейін жаңартыңыз, сонда сызық шындыққа жақындайды.
Терең желілерде бұл үлкенірек диапазонмен бірдей ән. Backprop әр қабаттың параметрлерінің соңғы қатеге қалай әсер еткенін тиімді түрде есептейді, сондықтан сіз миллиондаған (немесе миллиардтаған) тұтқаларды дұрыс бағытта жылжыта аласыз [2].
Негізгі интуициялар:
-
Шығын ландшафтты қалыптастырады.
-
Градиенттер - сіздің компасыңыз.
-
Оқу жылдамдығы қадам өлшемінде болады – тым үлкен және сіз тербелесіз, тым кішкентай және ұйықтайсыз.
-
Регуляризация жаттығу жиынтығын тотықұс сияқты есте сақтау қабілеті жақсы, бірақ түсінбейтін түрде жаттап алудан сақтайды.
Терең үңілу 2 - енгізулер, түрткі болу және іздеу 🧭
орналастырады . Бұл сізге:
-
семантикалық жағынан ұқсас үзінділерді табыңыз
-
мағынасын түсінетін күш іздеу
-
тілдік модель жазбас бұрын фактілерді іздей алатындай етіп, іздеу арқылы кеңейтілген генерацияны (RAG) қосыңыз
Шақыру – генеративті модельдерді қалай басқару керек – тапсырманы сипаттау, мысалдар келтіру, шектеулер қою. Мұны өте жылдам тағылымдамадан өтушіге арналған өте егжей-тегжейлі сипаттама жазу сияқты елестетіңіз: құлшыныс танытады, кейде тым сенімді.
Практикалық кеңес: егер сіздің моделіңіз галлюцинация көрсе, «көңіл-күйдің» орнына іздеуді қосыңыз, шақыруды күшейтіңіз немесе негізделген көрсеткіштермен бағалаңыз.
Терең сүңгу 3 - иллюзиясыз бағалау 🧪
Жақсы бағалау жалықтыратын сияқты - дәл осы мәселе.
-
Құлыпталған сынақ жинағын пайдаланыңыз.
-
Пайдаланушының ауырсынуын көрсететін метриканы таңдаңыз.
-
Шын мәнінде не көмектескенін білу үшін абляция жасаңыз.
-
Нақты, ретсіз мысалдармен журнал қателері.
Өндірісте мониторинг - бұл ешқашан тоқтамайтын бағалау. Ауытқу орын алады. Жаңа сленг пайда болады, сенсорлар қайта калибрленеді және кешегі модель аздап сырғып кетеді. NIST құрылымы - бұл тәуекелдерді басқару мен басқаруды жалғастыру үшін практикалық анықтамалық, ал сөреге қоюға болатын саясат құжаты емес [4].
Этика, бейтараптық және сенімділік туралы ескертпе ⚖️
Жасанды интеллект жүйелері өздерінің деректері мен орналастыру контекстін көрсетеді. Бұл тәуекелге әкеледі: бейтараптық, топтар арасындағы біркелкі емес қателіктер, тарату ауысуы кезіндегі сынғыштық. Этикалық пайдалану міндетті емес - бұл кестелік тәуекелдер. NIST нақты тәжірибелерге нұсқайды: тәуекелдер мен әсерлерді құжаттау, зиянды бейтараптықты өлшеу, резервтік қорғаныс құралдарын құру және тәуекелдер жоғары болған кезде адамдарды циклде ұстау [4].
Бетон қозғалыстары көмектеседі:
-
әртүрлі, репрезентативті деректерді жинау
-
субпопуляциялар бойынша өнімділікті өлшеу
-
құжат үлгі карталары және деректер парақтары
-
тәуекел жоғары болған жерлерде адами бақылауды қосыңыз
-
жүйе белгісіз болған кезде ақаулықтан қорғайтын жүйелерді жобалау
Жасанды интеллект қалай жұмыс істейді? Ойша модель ретінде сіз қайта пайдалана аласыз 🧩
Кез келген дерлік жасанды интеллект жүйесіне қолдануға болатын ықшам тексеру тізімі:
-
Мақсат не? Болжау, рейтинг, генерация, бақылау?
-
Оқу сигналы қайдан келеді? Белгілер, өзін-өзі басқаратын тапсырмалар, марапаттар?
-
Қандай архитектура қолданылады? Сызықтық модель, ағаш ансамблі, CNN, RNN, трансформатор [3]?
-
Ол қалай оңтайландырылған? Градиентті түсу вариациялары/артқы тіреуіш [2]?
-
Қандай деректер режимі? Кішкентай белгіленген жиынтық, белгіленбеген мәтін мұхиты, модельденген орта?
-
Сәтсіздік режимдері мен қорғаныс шаралары қандай? Ғимараттың ауытқуы, дрейфі, галлюцинациясы, кідіріс, шығындар NIST-тің GOVERN-MAP-MEASURE-MANAGE бағдарламасына сәйкес келтірілген [4].
Егер сіз оларға жауап бере алсаңыз, сіз жүйені түсінесіз, ал қалғаны - іске асырудың егжей-тегжейлері және салалық білім.
Бетбелгіге алуға тұрарлық жылдам дереккөздер 🔖
-
Машиналық оқыту тұжырымдамаларына қарапайым тілде кіріспе (IBM) [1]
-
Диаграммалар және жұмсақ математика арқылы кері таралу [2]
-
Тізбекті модельдеуді өзгерткен трансформаторлық қағаз [3]
-
NIST-тің жасанды интеллект тәуекелдерін басқару құрылымы (практикалық басқару) [4]
-
Канондық күшейту оқулығы (тегін) [5]
Жиі қойылатын сұрақтар: найзағай раунды⚡
Жасанды интеллект тек статистика ма?
Бұл статистика, оңтайландыру, есептеу, деректерді жобалау және өнімді жобалау. Статистика - бұл негізгі құрылым; қалғаны - бұлшық ет.
Үлкен модельдер әрқашан жеңіске жете ме?
Масштабтау көмектеседі, бірақ деректердің сапасы, бағалау және орналастыру шектеулері көбінесе маңыздырақ. Мақсатыңызға жететін ең кішкентай модель әдетте пайдаланушылар мен әмияндар үшін ең жақсысы.
Жасанды интеллект түсіне ала ма?
Анықтамасын беріңіз . Модельдер деректердегі құрылымды бейнелейді және әсерлі түрде жалпылайды; бірақ олардың соқыр аймақтары бар және сенімді түрде қателесуі мүмкін. Оларды данышпан емес, қуатты құралдар ретінде қарастырыңыз.
Трансформатор дәуірі мәңгілік пе?
Мүмкін, мәңгілік емес шығар. Ол қазір басым, себебі назар параллельденіп, масштабталады, бұл бастапқы мақалада көрсетілген [3]. Бірақ зерттеулер әлі де алға жылжуда.
Жасанды интеллект қалай жұмыс істейді? Тым ұзақ, оқымадым 🧵
-
Жасанды интеллект деректерден үлгілерді үйренеді, жоғалтуды азайтады және жаңа кірістерге жалпылайды [1,2].
-
Бақылаудағы, бақылаусыз, өзін-өзі бақылаудағы және күшейту арқылы оқыту негізгі оқыту тәсілдері болып табылады; RL марапаттаулардан үйренеді [5].
-
Нейрондық желілер миллиондаған параметрлерді тиімді реттеу үшін кері таралуды және градиенттік төмендеуді пайдаланады [2].
-
Трансформаторлар көптеген тізбекті тапсырмаларда басымдыққа ие, себебі өзіне назар аудару масштабта параллель қатынастарды бейнелейді [3].
-
Нақты әлемдегі жасанды интеллект – бұл мәселелерді тұжырымдаудан бастап орналастыру мен басқаруға дейінгі құбыржол, ал NIST құрылымы сізді тәуекел туралы шынайы ұстайды [4].
Егер біреу қайтадан «Жасанды интеллект қалай жұмыс істейді?» , сіз күлімсіреп, кофеңізді ішіп, былай дей аласыз: ол деректерден үйренеді, шығынды оңтайландырады және мәселеге байланысты трансформаторлар немесе ағаш ансамбльдері сияқты архитектураларды пайдаланады. Содан кейін көз қысыңыз, себебі бұл әрі қарапайым, әрі жасырын түрде толық. 😉
Сілтемелер
[1] IBM - Машиналық оқыту дегеніміз не?
толығырақ оқыңыз
[2] Майкл Нильсен - Кері таралу алгоритмі қалай жұмыс істейді
толығырақ оқыңыз
[3] Васвани және т.б. - Сізге тек көңіл бөлу керек (arXiv)
толығырақ оқу
[4] NIST - Жасанды интеллект тәуекелдерін басқару құрылымы (AI RMF 1.0)
толығырақ оқу
[5] Саттон және Барто - Нығайтуды оқыту: Кіріспе (2-ші басылым)
толығырақ оқу