AI масштабтау дегеніміз не?

Егер сіз демонстрациялық модельдің кішкене сынақ жүктемесін басып, содан кейін нақты пайдаланушылар пайда болған сәтте қатып қалғанын көрген болсаңыз, сіз зұлым адамды кездестірдіңіз: масштабтау. AI деректерге, есептеулерге, жадқа, өткізу қабілеттілігіне және біртүрлі, назар аударуға құмар. Сонымен, AI ауқымдылығы дегеніміз не және оны апта сайын бәрін қайта жазбай қалай алуға болады?

Осы мақаладан кейін оқығыңыз келетін мақалалар:

🔗 AI бейімділігі дегеніміз не қарапайым түсіндіріледі
Жасырын бейімділіктер AI шешімдерін және үлгі нәтижелерін қалай қалыптастыратынын біліңіз.

🔗 Бастауыш нұсқаулығы: жасанды интеллект дегеніміз не
AI, негізгі ұғымдар, түрлер және күнделікті қолданбаларға шолу.

🔗 Түсіндірілетін AI дегеніміз не және ол неге маңызды
Түсіндірілетін AI ашықтықты, сенімділікті және нормативтік талаптарға сәйкестікті қалай арттыратынын біліңіз.

🔗 Болжалды AI дегеніміз не және ол қалай жұмыс істейді
Болжалды AI, жалпы пайдалану жағдайлары, артықшылықтар мен шектеулерді түсініңіз.

AI масштабтау дегеніміз не? 📈

Жасанды интеллект ауқымдылығы — AI жүйесінің өнімділікті, сенімділікті және шығындарды қолайлы шектерде сақтай отырып, көбірек деректерді, сұрауларды, пайдаланушыларды және пайдалану жағдайларын өңдеу мүмкіндігі. Үлкен серверлер ғана емес - кідірістерді төмен, өткізу қабілеті жоғары және қисық жоғарылаған сайын тұрақты сапаны сақтайтын ақылды архитектуралар. Серпімді инфрақұрылымды, оңтайландырылған үлгілерді және ненің жанып жатқанын нақты көрсететін бақылау мүмкіндігін ойлап көріңіз.

Жақсы AI ауқымдылығын не етеді ✅

AI масштабтауы жақсы орындалғанда, сіз мыналарды аласыз:

• Күшті немесе тұрақты жүктеме кезінде болжамды кідіріс

• Қосылған аппараттық құралдарға немесе көшірмелерге пропорционалды түрде өсетін өткізу мүмкіндігі

• Сұраныс бойынша шаршамайтын шығын тиімділігі

• Сапа тұрақтылығы , өйткені кірістер әртараптанады және көлемдер артады

• Автомасштабтау, бақылау және ақылға қонымды SLO арқасында операциялық тыныштық

Бұл әдетте көлденең масштабтауды, топтастыруды, кэштеуді, кванттауды, сенімді қызмет көрсетуді және қате бюджеттеріне байланысты ойластырылған шығару саясаттарын біріктіреді [5].

AI ауқымдылығы және өнімділік пен сыйымдылық 🧠

• Өнімділік – бір сұраудың оқшауланғанда қаншалықты жылдам орындалатыны.

• Сыйымдылық - бұл бір уақытта қанша сұрауды өңдеуге болатындығы.

• AI ауқымдылығы - бұл ресурстарды қосу немесе ақылды әдістерді пайдалану сыйымдылықты арттырады және өнімділікті тұрақты түрде сақтайды - шотыңызды немесе пейджеріңізді жоймай.

Кішкентай айырмашылық, үлкен салдар.

Неліктен масштаб AI-де жұмыс істейді: масштабтау заңдары идеясы 📚

модель өлшемін, деректерді және есептеуді себеппен масштабтаған кезде жоғалту болжамды жолдармен жақсарады үлгі өлшемі мен жаттығу таңбалауыштары арасында есептеу үшін оңтайлы теңгерім бар екеуін бірге масштабтау тек біреуін масштабтауды орындайды. Іс жүзінде бұл идеялар оқыту бюджеттерін, деректер жиынтығын жоспарлауды және қызмет көрсетуді қамтамасыз етеді [4].

Жылдам аударма: үлкенірек жақсырақ болуы мүмкін, бірақ кірістерді масштабтағанда және пропорционалды есептегенде ғана - әйтпесе бұл трактор доңғалақтарын велосипедке салумен бірдей. Ол қарқынды көрінеді, ешқайда кетпейді.

Көлденең және тік: екі масштабтау тетігі 🔩

• Тік масштабтау : үлкенірек қораптар, күштірек графикалық процессорлар, көбірек жад. Қарапайым, кейде қымбат. Бір түйінді жаттығуларға, кідіріссіз қорытынды жасауға немесе үлгіңіз жақсы сынудан бас тартқанда жақсы.

• Көлденең масштабтау : көбірек көшірмелер. CPU/GPU немесе реттелетін қолданба көрсеткіштеріне негізделген подкасттарды қосатын немесе алып тастайтын авто масштабтауыштармен жақсы жұмыс істейді Kubernetes жүйесінде HorizontalPodAutoscaler сұранысқа жауап ретінде бөтелкелерді масштабтайды - трафиктің ұлғаюы үшін негізгі топты басқаруыңыз [1].

Анекдот (композиттік): Жоғары профильді іске қосу кезінде жай ғана серверлік топтаманы қосу және автоматты масштабтауышқа кез келген клиент өзгерісінсіз кезек тереңдігі тұрақтандырылған p95 реакциясына мүмкіндік беру. Жеңіссіз жеңістер бәрібір жеңіс.

AI ауқымдылығының толық жиынтығы 🥞

1. Деректер қабаты : жылдам нысандар қоймалары, векторлық индекстер және тренерлеріңізге кедергі келтірмейтін ағынды қабылдау.

2. Жаттығу деңгейі : деректер/модель параллелизмін, бақылау нүктесін, қайталауды өңдейтін таратылған фреймворктер мен жоспарлаушылар.

3. Қызмет көрсету деңгейі : оңтайландырылған орындалу уақыттары, динамикалық топтама , LLM үшін беттелген назар Мұнда Triton және vLLM жиі кейіпкерлер болып табылады [2][3].

4. Оркестрация : HPA немесе теңшелетін авто масштабтауыштар [1] арқылы серпімділікке арналған Кубернет.

5. Бақылау мүмкіндігі : өнімдегі пайдаланушы саяхаттары мен үлгі әрекетін бақылайтын жолдар, көрсеткіштер және журналдар; оларды SLOs айналасында жобалаңыз [5].

6. Басқару және шығындар : сұраныс бойынша экономика, бюджеттер және қашып кеткен жұмыс жүктемелеріне арналған өшіргіштер.

Салыстыру кестесі: AI масштабтауға арналған құралдар мен үлгілер 🧰

Мақсаты бойынша біршама біркелкі емес - өйткені шынайы өмір.

1-терең сүңгу: Инені жылжытатын трюктар 🚀

• Динамикалық топтама шағын қорытынды шақыруларын серверде үлкенірек топтамаларға топтайды, бұл клиентті өзгертусіз GPU пайдалануды күрт арттырады [2].

• Беттелген назар КВ кэштерін пейджингтеу арқылы жадта әлдеқайда көп сөйлесулерді сақтайды, бұл параллельділік кезінде өткізу қабілетін жақсартады [3].

• біріктіруді және кэштеуді сұраңыз, қайталанатын жұмысты болдырмаңыз.

• Спекуляциялық декодтау және таңбалауыш ағыны қабырға сағаты әрең қозғалса да, күтілетін кідірісті азайтады.

2-терең сүңгу: үлгі деңгейіндегі тиімділік - кванттау, тазарту, кесу 🧪

• Кванттау жадты қысқарту және қорытынды шығаруды жылдамдату үшін параметр дәлдігін төмендетеді (мысалы, 8-бит/4-бит); өзгерістерден кейін тапсырма сапасын әрқашан қайта бағалаңыз.

• Дистилляция білімді үлкен мұғалімнен сіздің аппараттық құралыңызға ұнайтын кішірек оқушыға береді.

• Құрылымдық кесу ең аз үлес қосатын салмақтарды/бастарды кеседі.

Шынымды айтсам, бұл чемоданыңызды кішірейту, содан кейін барлық аяқ киіміңіз әлі де жарамды екенін талап ету сияқты. Қалай болғанда да, бұл көбінесе.

3-терең сүңгу: Деректер мен жаттығуларды көз жассыз масштабтау 🧵

• Тәжірибелерді жылдам жеткізу үшін параллелизмнің нәзік бөліктерін жасыратын бөлінген жаттығуларды пайдаланыңыз.

• Осы масштабтау заңдарын : бюджетті үлгі өлшемі мен таңбалауыштар бойынша мұқият бөліңіз; екеуін бірге масштабтау есептеу үшін тиімді [4].

• Оқу бағдарламасы мен деректер сапасы көбінесе адамдар мойындағаннан гөрі нәтижелерді өзгертеді. Үлкенірек кластерге тапсырыс берген болсаңыз да, жақсырақ деректер кейде көбірек деректерден асып түседі.

Терең сүңгу 4: RAG білімді масштабтау стратегиясы ретінде 🧭

Өзгеретін фактілерге ілесу үшін үлгіні қайта даярлаудың орнына, RAG қорытынды жасау кезінде іздеу қадамын қосады. Модельді тұрақты ұстауға және корпусыңыз өскен сайын индекс пен ретриверлерді Білімді қажет ететін қолданбалар үшін толық қайта даярлаудан гөрі талғампаз және жиі арзанырақ.

Өзін-өзі ақтайтын байқағыштық 🕵️♀️

Сіз көре алмайтын нәрсені масштабтай алмайсыз. Екі маңызды:

• Сыйымдылықты жоспарлауға және автомасштабтауға арналған көрсеткіштер

• Шлюз → іздеу → үлгі → кейінгі өңдеу арқылы бір сұрауды орындайтын жолдар Бақылау тақталары сұрақтарға бір минуттың ішінде жауап беруі үшін өлшеулеріңізді SLO-ға байланыстырыңыз [5].

Бақылау тақталары сұрақтарға бір минуттың ішінде жауап бергенде, адамдар оларды пайдаланады. Болмаған кезде, олар бар сияқты көрінеді.

Сенімділік қоршаулары: SLO, қате бюджеттері, ақылға қонымды шығарылымдар 🧯

• Кідіріс, қолжетімділік және нәтиже сапасы үшін SLO анықтаңыз сенімділік пен босату жылдамдығын теңестіру үшін қате бюджеттерін

• Жаһандық үзілістерге дейін трафикті бөлу, канариялар жасау және көлеңке сынақтарын өткізу. Сіздің болашақ өзіңізге тағамдар жібереді.

Драмасыз шығындарды бақылау 💸

Масштабтау тек техникалық ғана емес; бұл қаржылық. GPU сағаттары мен таңбалауыштарды бірлік экономикасы бар бірінші дәрежелі ресурстар ретінде қарастырыңыз (бір мың токеннің құны, бір ендіру, векторлық сұрау үшін). Бюджеттер мен ескертулерді қосу; заттарды жоюды тойлау.

AI масштабтауға арналған қарапайым жол картасы 🗺️

1. p95 кідірісі, қолжетімділігі және тапсырма дәлдігі үшін SLO-дан бастаңыз бірінші күндегі сым көрсеткіштері/іздері [5].

2. қызмет көрсету стегін таңдаңыз : Triton, vLLM немесе эквиваленттер [2][3].

3. Модельді оңтайландыру : оның көмектесетін жерін кванттау, жылдамырақ ядроларды қосу немесе нақты тапсырмалар үшін дистилляциялау; сапаны нақты бағалаулармен растау.

4. Серпімділік сәулетшісі : дұрыс сигналдары, бөлек оқу/жазу жолдары және азаматтығы жоқ қорытынды репликалары бар Kubernetes HPA [1].

5. Апта сайын қайта оқытудың орнына индексті масштабтау үшін балғындық маңызды болған кезде іздеуді қабылдаңыз

6. Құны бар циклды жабыңыз : бірлік экономикасын және апта сайынғы шолуларды орнатыңыз.

Жалпы ақаулық режимдері және жылдам түзетулер 🧨

• GPU 30% пайдалану кезінде кідіріс нашар

  • Динамикалық топтаманы қосыңыз , топтаманың қақпақтарын мұқият көтеріңіз және сервердің сәйкестігін қайта тексеріңіз [2].

• Өткізу мүмкіндігі ұзақ шақырулармен төмендейді

  • Беттелген назарды қолдайтын сервисті пайдаланыңыз және максималды бір мезгілде реттілігін реттеңіз [3].

• Автомасштабтауыш қақпақтары

  • Терезелері бар тегіс көрсеткіштер; таза процессордың орнына кезек тереңдігі бойынша масштабтау немесе секундына реттелетін таңбалауыштар [1].

• Шығындар іске қосылғаннан кейін жарылып кетеді

  • Сұраныс деңгейіндегі шығындар көрсеткіштерін қосыңыз, қауіпсіз жерде кванттауды қосыңыз, жоғарғы сұрауларды кэштеңіз және ең нашар құқық бұзушыларды шектеңіз.

AI масштабталатын ойын кітабы: жылдам тексеру тізімі ✅

• SLO және қате бюджеттері бар және көрінеді

• Көрсеткіштер: кідіріс, tps, GPU жады, пакет өлшемі, таңбалауыш/с, кэш соққысы

• Енгізуден үлгіге дейінгі іздер

• Қызмет көрсету: топтама қосулы, параллельді күйге келтіру, жылы кэштер

• Үлгі: ол көмектесетін жерде квантталған немесе тазартылған

• Инфра: дұрыс сигналдармен конфигурацияланған HPA

• Білімнің сергектігін іздеу жолы

• Бірлік экономикасы жиі қаралады

Тым ұзақ оқымадым және қорытынды ескертулер 🧩

AI ауқымдылығы жалғыз мүмкіндік немесе құпия қосқыш емес. Бұл үлгі тілі: автоматты масштабтауыштармен көлденең масштабтау, пайдалану үшін серверлік топтама, модель деңгейіндегі тиімділік, ақпаратты жүктеу үшін іздеу және шығаруларды жалықтыратын бақылау мүмкіндігі. Барлығын теңестіру үшін SLO және шығындар гигиенасына себіңіз. Сіз оны бірінші рет тамашалай алмайсыз - ешкім жасамайды - бірақ дұрыс кері байланыс циклдарымен сіздің жүйеңіз түнгі сағат 2-де суық тер сезімінсіз өседі 😅

Анықтамалар

[1] Kubernetes Docs - Көлденең Pod автоматты масштабтау - толығырақ оқыңыз
[2] NVIDIA Triton - Dynamic Batcher - толығырақ оқыңыз
[3] vLLM құжаттары - беттелген назар - толығырақ оқыңыз
[4] Хоффман және т.б. (2022) - Есептеу-оңтайлы үлкен тіл үлгілерін оқыту - толығырақ оқыңыз
[5] Google SRE жұмыс кітабы - SLO енгізу - толығырақ оқыңыз

Ресми AI Assistant дүкенінен соңғы AI табыңыз

Біз туралы