Бұлттық есептеулерде жасанды интеллект дегеніміз не? [Бейне және викторина]

Қысқа жауап: Бұлтты есептеулердегі жасанды интеллект деректерді сақтау, есептеулерді жалға алу, модельдерді оқыту, оларды қызмет ретінде орналастыру және өндірісте бақылау үшін бұлтты платформаларды пайдалану туралы. Бұл маңызды, себебі көптеген сәтсіздіктер математикаға емес, деректерге, орналастыруға және операцияларға байланысты болады. Егер сізге жылдам масштабтау немесе қайталанатын шығарылымдар қажет болса, cloud + MLOps практикалық жол болып табылады.

Негізгі қорытындылар:

Өмірлік цикл: Жер туралы деректер, құрастыру мүмкіндіктері, оқыту, орналастыру, содан кейін дрейфті, кідірісті және шығындарды бақылау.

Басқару: Басынан бастап кіруді бақылауды, аудит журналдарын және ортаны бөлуді енгізіңіз.

Қайталанымдылық: Деректер нұсқаларын, кодты, параметрлерді және орталарды жазып алыңыз, сонда орындалулар қайталанатын болып қалады.

Шығындарды бақылау: Шот-фактуралардың күрт өзгеруіне жол бермеу үшін топтастыруды, кэштеуді, автомасштабтауды шектеуді және нүктелік/алдын ала оқытуды пайдаланыңыз.

Орналастыру үлгілері: Командалық шындыққа негізделген басқарылатын платформаларды, көл үйінің жұмыс ағындарын, Kubernetes немесе RAG таңдаңыз.

Осыдан кейін оқуға болатын мақалалар:

🔗 Ең үздік жасанды интеллект бұлттық бизнес басқару құралдары
Операцияларды, қаржыны және командаларды оңтайландыратын жетекші бұлттық платформаларды салыстырыңыз.

🔗 Ірі көлемді генеративті жасанды интеллект үшін қажетті технологиялар
GenAI жүйесін енгізу үшін қажетті негізгі инфрақұрылым, деректер және басқару.

🔗 Деректерді талдауға арналған тегін жасанды интеллект құралдары
Деректер жиынтығын тазалауға, модельдеуге және визуализациялауға арналған ең жақсы тегін жасанды интеллект шешімдері.

🔗 Қызмет ретіндегі жасанды интеллект дегеніміз не?
AIaaS, артықшылықтары, баға белгілеу модельдері және бизнесте кең таралған пайдалану жағдайларын түсіндіреді.

---

Бұлтты есептеулердегі жасанды интеллект: қарапайым анықтама 🧠☁️

Негізінде, бұлттық есептеулердегі жасанды интеллект мыналарға қол жеткізу үшін бұлттық платформаларды пайдалануды білдіреді:

• Есептеу қуаты (CPU, GPU, TPU) Google Cloud: AI Cloud үшін GPU TPU құжаттары

• Сақтау (деректер көлдері, қоймалар, нысандарды сақтау) AWS: Деректер көлі дегеніміз не? AWS: Деректер қоймасы дегеніміз не? Amazon S3 (нысандарды сақтау)

• Жасанды интеллект қызметтері (модельді оқыту, орналастыру, көру, сөйлеу, NLP үшін API) AWS жасанды интеллект қызметтері Google Cloud жасанды интеллект API

• MLOps құралдары (құбырлар, мониторинг, модель тізілімі, ML үшін CI-CD) Google Cloud: MLOps дегеніміз не? Vertex AI модель тізілімі

Өзіңізге қымбат жабдық сатып алудың орнына, қажет нәрсені қажет болған кезде жалға аласыз NIST SP 800-145. Гаражыңызда спортзал салудың орнына, бір қарқынды жаттығу үшін спортзал жалдап, содан кейін жүгіру жолағын ешқашан пайдаланбау сияқты. Бұл біздің ең жақсыларымыздың басынан өтеді 😬

Қарапайым тілмен айтқанда: NIST SP 800-145 бұлттық инфрақұрылымы арқылы масштабталатын, жеткізілетін, жаңартылатын және жұмыс істейтін - жасанды интеллект .

---

Неліктен жасанды интеллект + бұлт соншалықты маңызды мәселе 🚀

Ашығын айтқанда, көптеген жасанды интеллект жобалары математикалық есептеулердің қиындығынан сәтсіздікке ұшырамайды. Олар «модельдің айналасындағы заттар» шатасып кеткендіктен сәтсіздікке ұшырайды:

• деректер шашыраңқы

• орталар сәйкес келмейді

• модель біреудің ноутбугында жұмыс істейді, бірақ басқа жерде жоқ

• орналастыру кейіннен ойластырылған нәрсе ретінде қарастырылады

• қауіпсіздік пен талаптарға сәйкестік шақырылмаған немере ағасы сияқты кешігіп пайда болады 😵

Бұлттық платформалар көмектеседі, себебі олар мыналарды ұсынады:

1) Серпімді шкала 📈

Модельді үлкен кластерде қысқа уақытқа жаттықтырыңыз, содан кейін оны NIST SP 800-145.

2) Жылдам тәжірибе ⚡

Басқарылатын ноутбуктерді, алдын ала құрастырылған құбырларды және GPU даналарын тез іске қосыңыз. Google Cloud: жасанды интеллектке арналған GPU.

3) Орналастыруды жеңілдету 🌍

Модельдерді API, топтық тапсырмалар немесе ендірілген қызметтер ретінде орналастыру Red Hat: REST API дегеніміз не? SageMaker Batch Transform.

4) Интеграцияланған деректер экожүйелері 🧺

Деректер құбырларыңыз, қоймаларыңыз және аналитикаңыз көбінесе бұлтта орналасқан AWS: Деректер қоймасы және деректер көлі.

5) Ынтымақтастық және басқару 🧩

Рұқсаттар, аудит журналдары, нұсқалар және ортақ құралдар (кейде қиындық тудырады, бірақ сонда да) Azure ML тізілімдерінде (MLOps) қамтылған .

---

Бұлттық есептеулердегі жасанды интеллект іс жүзінде қалай жұмыс істейді (Нақты ағын) 🔁

Міне, жалпы өмірлік цикл. «Мінсіз диаграмма» нұсқасы емес... өмір сүріп жатқан нұсқасы.

1-қадам: Деректер бұлттық сақтау орнына түседі 🪣

Мысалдар: нысан сақтау шелектері, деректер көлдері, бұлттық дерекқорлар Amazon S3 (нысан сақтау) AWS: Деректер көлі дегеніміз не? Google Cloud Storage шолуы.

2-қадам: Деректерді өңдеу + мүмкіндіктерді құру 🍳

Сіз оны тазалайсыз, түрлендіресіз, мүмкіндіктер жасайсыз, мүмкін ағынмен жібересіз.

3-қадам: Модельдік оқыту 🏋️

Сіз Google Cloud GPU-ларын жасанды интеллект үшін оқыту үшін бұлттық есептеулерді (көбінесе GPU) пайдаланасыз :

• классикалық ML модельдері

• терең оқыту модельдері

• негізгі модельді дәл баптау

• Іздеу жүйелері (RAG стиліндегі орнатулар) Іздеу арқылы кеңейтілген генерация (RAG) қағазы

4-қадам: Орналастыру 🚢

Модельдер келесі жолдармен қапталады және жеткізіледі:

• REST API-лары Red Hat: REST API дегеніміз не?

• серверсіз соңғы нүктелер SageMaker серверсіз қорытындысы

• Kubernetes контейнерлері Kubernetes: көлденең под автомасштабы

• пакеттік болжам құбырлары SageMaker пакеттік түрлендіру Vertex AI пакеттік болжамдары

5-қадам: Бақылау + жаңартулар 👀

Трек:

• кідіріс

• SageMaker модель мониторының дәлдік дрейфі

• Vertex AI моделінің деректер дрейфін бақылау

• болжам бойынша құны

• «бұл мүмкін болмауы керек...» деп сыбырлауға мәжбүр ететін шеткі регистрлер 😭

Бұл қозғалтқыш. Бұл тек анықтама ретінде емес, бұлтты есептеулердегі қозғалыстағы жасанды интеллект.

---

Бұлттық есептеулерде жасанды интеллекттің жақсы нұсқасын не құрайды? ✅☁️🤖

Егер сіз «жақсы» іске асыруды (тек жарқын демо емес) қаласаңыз, мыналарға назар аударыңыз:

A) Мазасыздықтарды анық бөлу 🧱

• деректер қабаты (сақтау, басқару)

• оқыту қабаты (тәжірибелер, құбырлар)

• қызмет көрсету қабаты (API, масштабтау)

• бақылау қабаты (метрикалар, журналдар, ескертулер) SageMaker Model Monitor

Барлығы бір-біріне сіңіп кеткенде, қатені түзету эмоционалдық зақымға айналады.

B) Әдепкі бойынша қайталанымдылық 🧪

Жақсы жүйе қолмен бұлғамай-ақ былай деп айтуға мүмкіндік береді:

• осы модельді оқытқан деректер

• код нұсқасы

• гиперпараметрлер

• қоршаған орта

Егер жауап «ммм, меніңше, сейсенбідегі жүгіру болды...» болса, сіз қазірдің өзінде қиындыққа тап болдыңыз 😅

C) Шығынға бейім дизайн 💸

Бұлттық жасанды интеллект қуатты, бірақ сонымен бірге бұл кездейсоқ өмірлік таңдауларыңызға күмән келтіретін заң жобасын жасаудың ең оңай жолы.

Жақсы орнатуларға мыналар кіреді:

• автомасштабы : Көлденең Pod автомасштабы

• мысалдарды жоспарлау

• мүмкін болған жағдайда алдын ала анықталатын опциялар Amazon EC2 Spot даналары Google Cloud алдын ала анықталатын виртуалды машиналар

• SageMaker пакеттік түрлендіруін кэштеу және пакеттеу туралы қорытынды

D) Қауіпсіздік және сәйкестік 🔐

Кейінірек ағып жатқан құбырдағы скотч сияқты болттармен бекітілмеген.

E) Прототиптен өндіріске дейінгі нақты жол 🛣️

Бұл ең маңыздысы. Бұлттағы жасанды интеллекттің жақсы «нұсқасына» MLOp, орналастыру үлгілері және басынан бастап бақылау кіреді. Google Cloud: MLOp дегеніміз не?. Әйтпесе, бұл қымбат шот-фактурасы бар ғылыми жәрмеңке жобасы.

---

Салыстыру кестесі: Танымал бұлттағы жасанды интеллект опциялары (және олар кімге арналған) 🧰📊

Төменде қысқаша, аздап пікір білдірілген кесте берілген. Бағалар әдейі кеңінен көрсетілген, себебі бұлттық баға белгілеу кофеге тапсырыс берумен бірдей - базалық баға ешқашан баға емес 😵💫

Құрал / Платформа	Аудитория	Бағасы жоғары	Неліктен жұмыс істейді (ерекше ескертпелер қосылған)
AWS SageMaker	ML командалары, кәсіпорындар	Қолдану кезінде төлеу	Толық стекадағы ML платформасы - оқыту, соңғы нүктелер, құбырлар. Қуатты, бірақ мәзірлер барлық жерде.
Google Vertex жасанды интеллекті	Машина жасау командалары, деректер ғылымы ұйымдары	Қолдану кезінде төлеу	Күшті басқарылатын оқыту + модельдер тізілімі + интеграциялар. Басылған кезде жайлы сезіледі.
Azure машиналық оқытуы	Кәсіпорындар, MS-бағытталған ұйымдар	Қолдану кезінде төлеу	Azure экожүйесімен жақсы жұмыс істейді. Жақсы басқару нұсқалары, көптеген түймелер.
Databricks (ML + Lakehouse)	Деректерді жобалау бойынша ауыр топтар	Жазылым + пайдалану	Деректер құбырлары мен машиналық оқытуды бір жерде араластыруға тамаша. Көбінесе практикалық топтар ұнатады.
Snowflake AI мүмкіндіктері	Аналитикаға бағытталған ұйымдар	Қолдануға негізделген	Әлеміңіз қоймада болған кезде жақсы. «Машина жасау зертханасы» азырақ, «SQL тіліндегі жасанды интеллект» көбірек
IBM watsonx	Реттелетін салалар	Кәсіпорын бағалары	Басқару және кәсіпорынды бақылау маңызды бағыт болып табылады. Көбінесе саясатты қатаң ұстанатын құрылымдар үшін таңдалады.
Басқарылатын Kubernetes (DIY ML)	Платформа инженерлері	Айнымалы	Икемді және тапсырыс бойынша жасалған. Сондай-ақ... ол сынған кезде ауырсынуды өзіңіз сезінесіз 🙃
Серверсіз қорытынды (функциялар + соңғы нүктелер)	Өнім топтары	Қолдануға негізделген	Тікелей кептеліс үшін тамаша. Суық іске қосылулар мен кідірістерді қаршыға сияқты бақылаңыз.

Бұл «ең үздікті» таңдау туралы емес, бұл сіздің командаңыздың шындығына сәйкес келу туралы. Бұл құпия.

---

Бұлттық есептеулерде жасанды интеллекттің кең таралған қолданылу жағдайлары (мысалдармен) 🧩✨

Бұлттағы жасанды интеллект параметрлері келесідей ерекшеленді:

1) Тұтынушыларды қолдауды автоматтандыру 💬

• чат көмекшілері

• билет бағытын анықтау

• қорытындылау

• сезім мен ниетті анықтау Cloud Natural Language API

2) Ұсыныс жүйелері 🛒

• өнім ұсыныстары

• мазмұн арналары

• «адамдар да сатып алды».
  Оларға көбінесе масштабталатын қорытынды және нақты уақыт режиміндегі жаңартулар қажет.

3) Алаяқтықты анықтау және тәуекелдерді бағалау 🕵️

Бұлт серияларды басқаруды, оқиғаларды ағынмен жіберуді және ансамбльдерді іске қосуды жеңілдетеді.

4) Құжаттарды талдау 📄

• OCR құбырлары

• нысанды алу

• келісімшартты талдау

• Snowflake Cortex AI функциялары бойынша шот-фактураны талдау Көптеген ұйымдарда уақыт тыныш қайтарылатын жер осы.
  

5) Болжам жасау және біліктілікке бағытталған оңтайландыру 📦

Сұранысты болжау, қорларды жоспарлау, маршруттарды оңтайландыру. Бұлт көмектеседі, себебі деректер үлкен және қайта даярлау жиі жүргізіледі.

6) Генеративтік жасанды интеллект қолданбалары 🪄

• мазмұн жобасын жасау

• код бойынша көмек

• ішкі білім боттары (RAG)

• синтетикалық деректерді генерациялау бойынша іздеу-кеңейтілген генерация (RAG) құжаты.
  Бұл көбінесе компаниялардың ақыры: «Біз деректерге қол жеткізу ережелеріміздің қай жерде жұмыс істейтінін білуіміз керек» деп айтатын сәті. 😬

---

Барлық жерден көретін сәулет үлгілері 🏗️

1-үлгі: Басқарылатын машиналық оқыту платформасы («біз бас ауруын азайтқымыз келеді» бағыты) 😌

• деректерді жүктеу

• басқарылатын жұмыс орындарымен оқыту

• басқарылатын соңғы нүктелерге орналастыру

• платформаның басқару тақталарындағы монитор SageMaker моделінің мониторы Vertex AI моделінің мониторингі

Жылдамдық маңызды болған кезде және ішкі құралдарды нөлден бастап жасағыңыз келмеген кезде жақсы жұмыс істейді.

2-үлгі: Лейкхаус + ML («деректер бірінші орында» бағыты) 🏞️

• деректерді инженериялау + машина жасау жұмыс процестерін біріктіру

• деректерге жақын жерде ноутбуктарды, конвейерлерді, функцияларды жобалауды іске қосыңыз

• Databricks Lakehouse ірі аналитикалық жүйелерінде жұмыс істейтін ұйымдар үшін күшті

3-үлгі: Kubernetes-тегі контейнерленген ML («біз бақылауды қалаймыз» бағыты) 🎛️

• контейнерлердегі пакет модельдері

• автомасштабтау саясатымен масштабтау : Көлденең Pod автомасштабы

• қызмет көрсету торын біріктіру, бақылау мүмкіндігі, құпияларды басқару

Сондай-ақ белгілі: «Біз сенімдіміз, сонымен қатар бізге тақ уақыттағы жөндеу ұнайды»

4-үлгі: RAG (Қайтадан іздеу арқылы кеңейтілген ұрпақ) («біліміңізді пайдаланыңыз» бағыты) 📚🤝

• бұлттық сақтау орнындағы құжаттар

• ендірмелер + векторлық қойма

• іздеу қабаты контекстті модельге береді

• қоршаулар + кіруді бақылау + тіркеу Іздеу арқылы кеңейтілген генерация (RAG) қағазы

Бұл қазіргі заманғы бұлттағы жасанды интеллект туралы әңгімелердің маңызды бөлігі, себебі бұл көптеген нақты бизнестердің генеративті жасанды интеллектті қауіпсіз пайдаланатындығына байланысты.

---

MLOps: Барлығы бағаламайтын бөлік 🧯

Егер сіз бұлттағы жасанды интеллекттің өндірісте жұмыс істеуін қаласаңыз, сізге MLOp қажет. Бұл сәнді болғандықтан емес - модельдер өзгеріп, деректер өзгеріп, пайдаланушылар ең нашар жолмен шығармашылық танытатындықтан . Google Cloud: MLOp дегеніміз не?

Негізгі бөліктер:

• Тәжірибені бақылау : MLflow бақылауы не нәтиже берді, не нәтиже бермеді

• Модель тізілімі: бекітілген модельдер, нұсқалар, метадеректер MLflow модель тізілімі Vertex AI модель тізілімі

• Машина жасау үшін CI-CD: тестілеу + орналастыруды автоматтандыру Google Cloud MLOps (CD және автоматтандыру)

• Функциялар дүкені: оқыту және қорытынды жасау бойынша тұрақты функциялар SageMaker Функциялар дүкені

• Мониторинг: өнімділік ауытқуы, ауытқу сигналдары, кідіріс, шығындар SageMaker модель мониторы Vertex AI модель мониторингі

• Қайтару стратегиясы: иә, кәдімгі бағдарламалық жасақтама сияқты

Егер сіз мұны елемесеңіз, бәрі тірі, ештеңеге таңба салынбаған және қақпаны ашуға қорқатын «үлгі хайуанаттар бағына» 🦓 тап боласыз.

---

Қауіпсіздік, құпиялылық және талаптарға сәйкестік (қызықты емес, бірақ... иә) 🔐😅

Бұлтты есептеулердегі жасанды интеллект бірнеше өткір сұрақтарды тудырады:

Деректерге қол жеткізуді басқару 🧾

Оқыту деректеріне кім қол жеткізе алады? Қорытынды журналдары? Сұраулар? Шығыстар?

Шифрлау және құпиялар 🗝️

Кілттерді, токендерді және тіркелгі деректерін дұрыс өңдеу қажет. «Конфигурация файлында» өңделмейді.

Оқшаулану және пәтер жалдау 🧱

Кейбір ұйымдар әзірлеу, қойылым және өндіріс үшін бөлек орталарды қажет етеді. Бұлт көмектеседі - бірақ оны дұрыс орнатқан жағдайда ғана.

Аудиттелу мүмкіндігі 📋

Реттелетін ұйымдар көбінесе мыналарды көрсетуі керек:

• қандай деректер пайдаланылды

• шешімдер қалай қабылданды

• кім не орналастырды

• IBM watsonx.government өзгерген кезде

Тәуекелдерді басқару моделі ⚠️

Бұған мыналар кіреді:

• қателіктерді тексеру

• қарсылас тестілеу

• жедел инъекциялық қорғаныс (генеративті жасанды интеллект үшін)

• қауіпсіз шығыс сүзгісі

Мұның бәрі негізгі мәселеге оралады: бұл тек «интернеттегі жасанды интеллект» емес. Бұл нақты шектеулермен жұмыс істейтін жасанды интеллект.

---

Бағасы мен өнімділігі бойынша кеңестер (кейін жыламас үшін) 💸😵💫

Бірнеше шайқаста тексерілген кеңестер:

• Қажеттілікті қанағаттандыратын ең кішкентай модельді пайдаланыңыз.
  Үлкенірек әрқашан жақсы бола бермейді. Кейде ол жай ғана... үлкенірек болады.

• Мүмкіндігінше топтық қорытынды жасау SageMaker топтық түрлендіруі арзанырақ және тиімдірек .
  

• Кэшті белсенді түрде сақтау
  Әсіресе қайталанатын сұраулар мен ендірулер үшін.

• Автоматты масштабтау, бірақ оны шектеу
  Шексіз масштабтау шексіз шығындарды білдіруі мүмкін Kubernetes: Көлденең Pod автомасштабы. Менен қайдан білетінімді сұраңыз... шынын айтқанда, сұрамаңыз 😬

• Әрбір соңғы нүкте мен әрбір мүмкіндік үшін шығындарды бақылаңыз.
  Әйтпесе, сіз дұрыс емес нәрсені оңтайландырасыз.

• Оқыту үшін нүктелік алдын ала есептеуді пайдаланыңыз.
  Егер сіздің оқыту жұмыстарыңыз үзілістерді өңдей алса, үлкен үнемдеу болады. Amazon EC2 нүктелік даналары, Google Cloud алдын ала алдын ала есептеу машиналары.

---

Адамдардың жіберетін қателіктері (тіпті ақылды командалар да) 🤦♂️

• Бұлтты жасанды интеллектті «тек модельді қосу» деп қарастыру

• Деректердің сапасын соңғы сәтке дейін елемеу

• SageMaker Model Monitor бақылауынсыз модельді жеткізу

• каденциясын қайта оқытуды жоспарламаймын : MLOps дегеніміз не?

• Қауіпсіздік топтарының іске қосу аптасына дейін бар екенін ұмытып кету 😬

• Бірінші күннен бастап шамадан тыс инженерлік жұмыс (кейде қарапайым бастапқы деңгей жеңеді)

Сонымен қатар, үнсіз қатал нұсқа: командалар пайдаланушылардың кідірісті қаншалықты жек көретінін бағаламайды. Дәлдігі сәл төмен, бірақ жылдамдығы жоғары модель көбінесе жеңіске жетеді. Адамдар шыдамсыз кішкентай кереметтер.

---

Негізгі ойлар 🧾✅

Бұлттық есептеулердегі жасанды интеллект - бұлтты инфрақұрылымды пайдаланып, жасанды интеллектті құру мен іске қосудың толық тәжірибесі - оқытуды масштабтау, орналастыруды жеңілдету, деректер құбырларын біріктіру және MLOps, қауіпсіздік және басқару арқылы модельдерді іске қосу. Google Cloud: MLOps дегеніміз не? NIST SP 800-145.

Қысқаша шолу:

• Бұлт жасанды интеллектке масштабтау және жеткізу инфрақұрылымын береді 🚀 NIST SP 800-145

• Жасанды интеллект бұлттық жұмыс жүктемелеріне шешімдерді автоматтандыратын «ми» береді 🤖

• Сиқыр тек оқытуда ғана емес - бұл орналастыру, бақылау және басқару 🧠🔐 SageMaker Model Monitor

• Маркетингтік тұманға емес, команданың қажеттіліктеріне негізделген платформаларды таңдаңыз 📌

• Шығындар мен операцияларды көзілдірік таққан сұңқар сияқты бақылаңыз 🦅👓 (жаман метафора, бірақ түсінесіз)

Егер сіз мұнда «бұлттық есептеулердегі жасанды интеллект – бұл тек үлгі API» деп ойлап келген болсаңыз, жоқ, бұл тұтас экожүйе. Кейде талғампаз, кейде турбулентті, кейде екеуі де бір түстен кейін.

Нақты әлемдегі мысал: бұлттық жасанды интеллект қолдауын құру - билет триажы көмекшісі 🎫☁️

Сценарий

40 адамнан тұратын SaaS компаниясы аптасына шамамен 180 тұтынушыны қолдау қызметіне жүгінеді деп елестетіп көріңіз. Қолдау тобы анықтама қызметін пайдаланады, бірақ әр дүйсенбі таңертең біреу жаңа қызметтерді оқып, санатты таңдап, шұғылдықты белгілеп, тұтынушының ақылы жоспарда екенін тексеріп, мәселені есеп айырысуға, өнімге, инженерияға немесе жалпы қолдау қызметіне бағыттауы керек.

Компанияға алып жасанды интеллект жүйесі қажет емес. Оған билеттерді жіктей алатын, мәселені қорытындылай алатын, келесі әрекетті ұсына алатын және қауіпті жағдайларды адами шолу үшін белгілей алатын шағын бұлттық жасанды интеллект жұмыс процесі қажет.

Практикалық орнату келесідей болуы мүмкін:

билеттер әр сағат сайын бұлттық жадқа экспортталады

Серверсіз жұмыс билет мәтінін тазалайды және қажетсіз жеке деректерді жояды

жіктеу моделі немесе орналастырылған тіл моделі билетті белгілейді

нәтижелер анықтама қызметіне қайта жазылады

Басқару тақтасы кідірістерді, сенімділік ұпайларын, маршруттау дәлдігін және билет құнын бақылайды

Негізгі мәселе: жасанды интеллект қолдау тобын алмастырмайды. Ол қайталанатын сұрыптау жұмыстарын азайтып, адамдар нақты мәселені шешуге көбірек уақыт жұмсайды.

Көмекшіге не қажет

Бұл жұмысты жақсы жүргізу үшін команда мыналарды дайындауы керек:

билет санаттарының тізімі, мысалы, төлем, кіру, қате, мүмкіндік сұрауы, бас тарту, қауіпсіздік және жалпы

Әр санаттағы 20-50 нақты өткен билеттердің мысалдары

әр бөлім үшін бағыттау ережелері

басымдық ережелері, мысалы, «қауіпсіздік мәселесі = шұғыл» немесе «кәсіпорындық тұтынушының істен шығуы = шұғыл»

көмекшінің ешқашан істемеуі керек нәрселердің қысқаша тізімі, мысалы, ақшаны қайтаруға уәде беру, заңды кінәні мойындау немесе тіркелгі параметрлерін өзгерту

қол жеткізуді басқару элементтері, сондықтан жасанды интеллект жұмыс процесі тек шынымен қажет билет өрістерін ғана көреді

белгісіз жағдайларға арналған резервтік ереже

Қарапайым резервтік ереже келесідей болуы мүмкін:

Егер сенімділік 80%-дан төмен болса немесе айыппұлда заңдылық, қауіпсіздік, қайтару, бас тарту, деректердің бұзылуы немесе медициналық/қаржылық зиян туралы айтылса, оны автоматты түрде бағыттаудың орнына адами шолушыға жіберіңіз.

Мысал нұсқаулығы

Сіз B2B SaaS компаниясы үшін қолдау билетін сұрыптау бойынша көмекшісіз.

Клиенттің хабарламасын оқып, қайтарыңыз:

1. Мәселенің бір сөйлеммен қысқаша мазмұны

2. Осы тізімнен бір санат: Есепшот, Кіру, Қате, Функция сұрауы, Бас тарту, Қауіпсіздік, Жалпы

3. Басымдық: Төмен, Орташа, Жоғары немесе Шұғыл

4. Онымен жұмыс істейтін ең жақсы команда: Қолдау, есеп айырысу, өнім, инженерия, қауіпсіздік немесе тұтынушының табысы

5. Адами тексеру қажет пе: Иә немесе Жоқ

6. Шешіміңіздің қысқаша себебі

Ережелер:

Ақшаны қайтаруға уәде бермеңіз.
Заңды немесе қауіпсіздік жауапкершілігін анықтамаңыз.
Тіркелгі деректерін ойлап таппаңыз.
Егер хабарлама түсініксіз болса, Жалпы опциясын таңдап, адамдық тексеруді талап етіңіз.
Егер тұтынушы деректердің жариялануы, тіркелгіні тартып алу, төлемнің сәтсіздігі немесе қызметтің үзілуі туралы айтса, адамдық тексеруді талап етіңіз.

Оны қалай тексеруге болады

Мұны өндіріске енгізбес бұрын, оны нақты немесе анонимді тарихи билеттердің шағын жиынтығымен сынап көріңіз.

100 бұрынғы билетті пайдаланып, көмекшінің маршруттауын команданың бастапқы маршруттау шешімімен салыстырыңыз.

Тексеру:

адам белгісіне қанша санат сәйкес келді

қанша шұғыл билеттер дұрыс есептелген

Қанша басымдығы төмен билеттер қате түрде шұғыл деп белгіленген

құпия құжаттар адам шолуына жіберілді ме

бір билетті өңдеудің орташа уақыты

100 билеттің құны

Содан кейін ретсіз мысалдармен екінші сынақты іске қосыңыз:

тұтынушы барлық бас әріптермен жазады

билетте бірден үш нөмір бар

хабарлама тек екі сөзден тұрады, мысалы, «кіре алмайсыз»

пайдаланушы ақшаны қайтаруды сұрайды және сот ісін қозғайды

тұтынушы ықтимал қауіпсіздік оқиғасы туралы хабарлайды

Бұл тесттер маңызды, себебі таза демо билеттерін алу оңай. Нақты пайдаланушылар ретсіз, сирек контекстпен және болжанбайтын тыныс белгілерімен жазады.

Нәтиже

Көрнекі нәтиже: осы жұмыс процесін пайдаланбас бұрын және кейін бес тапсырмадан тұратын қолмен сұрыптау үлгісін уақытқа бөлуге негізделген.

Қолмен жасалатын процесс:

Аптасына 180 билет
Қолмен сұрыптаудың орташа уақыты: әр билетке 2 минут 30 секунд
Жалпы сұрыптау уақыты: аптасына 450 минут немесе 7,5 сағат

Бұлттық жасанды интеллект көмегімен жүзеге асырылатын процесс:

Орташа жасанды интеллект өңдеу уақыты: әр билет үшін 10 секундтан аз
Белгіленген билеттерді адаммен қараудың орташа уақыты: 1 минут 30 секунд
Адаммен қарау жиілігі: билеттердің 25%-ы
Апта сайынғы сұрыптаудың болжамды уақыты: 67,5 минут

Бұл аптасына шамамен 6,4 сағат үнемдеуге мүмкіндік береді.

Дәлдікті бөлек өлшеу керек. Шынайы сынақта команда келесідей іске қосу ережесін орнатуы мүмкін:

санаттың адам белгілерімен кем дегенде 90% сәйкестігі

Қауіпсіздікке қатысты айыппұлдардың 100%-ы адам шолуына жіберілді

билеттердің 5%-дан азы дұрыс емес бөлімге жіберілді

билеттің орташа құны £0,05-тен төмен

Егер көмекші тест жинағындағы сол сандарға сәйкес келмесе, ол тікелей билеттерді автоматты түрде бағыттаудың орнына шолу режимінде қалуы керек.

Не дұрыс болмауы мүмкін

Ең көп таралған ақаулық - бұл анық емес санаттар. Егер «Қате», «Техникалық мәселе» және «Өнім мәселесі» шамамен бірдей мағынаны білдірсе, көмекші сәйкессіз жіктейді.

Тағы бір қауіп - шамадан тыс автоматтандыру. «Менің тіркелгіме басқа біреу кірді» деген қатені кәдімгі кіру мәселесі сияқты кездейсоқ бағыттауға болмайды. Ол үшін эскалация, журнал жүргізу және, мүмкін, қауіпсіздік жұмыс процесі қажет.

Дұрыс емес журнал жүргізу құпиялылық мәселелерін тудыруы мүмкін. Сұрауларда, билет мәтінінде, модель шығыстарында және қате іздерінде тұтынушының құпия деректері болуы мүмкін. Тек қажеттіні сақтаңыз, кіруді шектеңіз және сақтау ережелерін орнатыңыз.

Шығындар да өсуі мүмкін. Егер әрбір билет кішірек жіктеуіш жұмыс істейтін кезде үлкен модельге жіберілсе, жүйе қажетсіз қымбатқа түседі. Ең кішкентай сенімді нұсқадан бастаңыз, содан кейін дәлдік шынымен жақсарған жерде ғана жаңартыңыз.

Практикалық қорытынды

Жақсы бұлттық жасанды интеллект орнатуы кішкентайдан басталады: бір жұмыс процесі, анық ережелер, тест деректері, адами шолу және өлшенетін мақсаттар. Қолдау сұрыптауы үшін жеңіс «Жасанды интеллект бәрін шешеді» емес. Жеңіс жылдам сұрыптауда, жіберіп алған шұғыл билеттердің аздығында, таза тапсыруларда және команда соқыр сенім артудың орнына бақылай алатын жүйеде.

Жиі қойылатын сұрақтар

«Бұлтты есептеулердегі жасанды интеллект» күнделікті мағынада нені білдіреді

Бұлттық есептеулердегі жасанды интеллект дегеніміз - бұлттық платформаларды деректерді сақтау, есептеулерді (CPU/GPU/TPU) іске қосу, модельдерді оқыту, орналастыру және бақылау үшін - аппараттық құралға иелік етпей-ақ пайдалану дегенді білдіреді. Іс жүзінде бұлт сіздің бүкіл жасанды интеллект өмірлік цикліңіз жұмыс істейтін орынға айналады. Қажет болған кезде қажет нәрсені жалға аласыз, содан кейін жұмысты аяқтаған кезде масштабтауды азайтасыз.

Неліктен жасанды интеллект жобалары бұлттық инфрақұрылымсыз және MLO-ларсыз сәтсіздікке ұшырайды

Көптеген сәтсіздіктер модельдің ішінде емес, айналасында болады: сәйкес келмейтін деректер, сәйкес келмейтін орталар, әлсіз орналастырулар және бақылаудың болмауы. Бұлттық құралдар сақтау, есептеу және орналастыру үлгілерін стандарттауға көмектеседі, сондықтан модельдер «менің ноутбугымда жұмыс істеді» дегенге жабысып қалмайды. MLOps жетіспейтін желімді қосады: бақылау, тізілімдер, құбырлар және кері айналдыру, сондықтан жүйе қайталанатын және қолдауға болатын болып қалады.

Бұлтты есептеулердегі жасанды интеллект үшін деректерден бастап өндіріске дейінгі типтік жұмыс процесі

Жалпы ағын: деректер бұлттық сақтау орнына түседі, мүмкіндіктерге өңделеді, содан кейін модельдер масштабталатын есептеулерде жаттығады. Әрі қарай, сіз API соңғы нүктесі, топтық жұмыс, серверсіз орнату немесе Kubernetes қызметі арқылы орналастырасыз. Соңында, сіз кідірісті, дрейфті және шығындарды бақылайсыз, содан кейін қайта оқыту және қауіпсіз орналастырулармен қайталайсыз. Көптеген нақты құбырлар бір рет жіберудің орнына үнемі циклде болады.

SageMaker, Vertex AI, Azure ML, Databricks және Kubernetes арасында таңдау жасау

«Ең жақсы платформа» маркетингтік шуына емес, командаңыздың шындығына сүйене отырып таңдаңыз. Басқарылатын машиналық оқыту платформалары (SageMaker/Vertex AI/Azure ML) оқыту жұмыстарымен, соңғы нүктелермен, тізілімдермен және мониторингпен операциялық қиындықтарды азайтады. Databricks көбінесе машиналық оқытуды құбырлар мен аналитикаға жақын жерде қалайтын деректерді инженериямен айналысатын командаларға сәйкес келеді. Kubernetes максималды бақылау мен теңшеуді қамтамасыз етеді, бірақ сонымен қатар сенімділік, масштабтау саясаты және ақаулар болған кезде жөндеу мүмкіндігі бар.

Бүгінгі таңда жасанды интеллект бұлттық жүйелерінде ең көп көрінетін сәулет үлгілері

Сіз үнемі төрт үлгіні көресіз: жылдамдық үшін басқарылатын ML платформалары, деректерге басымдық беретін ұйымдар үшін Lakehouse + ML, басқару үшін Kubernetes-тегі контейнерленген ML және «ішкі білімімізді қауіпсіз пайдалану» үшін RAG (алу арқылы кеңейтілген генерация). RAG әдетте бұлттық сақтаудағы құжаттарды, ендірмелерді + векторлық қойманы, алу қабатын және журнал жүргізуі бар кіруді басқару элементтерін қамтиды. Сіз таңдаған үлгі басқаруыңыз бен операциялардың жетілуіне сәйкес келуі керек.

Командалар бұлттық жасанды интеллект модельдерін қалай орналастырады: REST API, топтық жұмыстар, серверсіз немесе Kubernetes

Өнімнің кідірісі маңызды болған кезде нақты уақыт режимінде болжау үшін REST API кең таралған. Топтық қорытынды жоспарланған бағалау және шығындарды үнемдеу үшін өте қолайлы, әсіресе нәтижелер бірден болуы міндетті емес кезде. Серверсіз соңғы нүктелер күрт трафик үшін жақсы жұмыс істей алады, бірақ суық іске қосулар мен кідіріске назар аудару қажет. Kubernetes платформа құралдарымен ұсақ масштабтау және интеграция қажет болған кезде өте қолайлы, бірақ ол операциялық күрделілікті арттырады.

Жасанды интеллект жүйелерінің денсаулығын сақтау үшін өндірісте нені бақылау керек

Ең болмағанда, сенімділік пен бюджет көрінетіндей етіп, кідірістерді, қателіктер деңгейін және болжамға жұмсалатын шығындарды бақылаңыз. Машина жасау жағынан, модель бойынша шындық өзгерген кезде деректердің ауытқуын және өнімділіктің ауытқуын бақылаңыз. Шеткі жағдайларды және нашар нәтижелерді тіркеу де маңызды, әсіресе пайдаланушылар шығармашылық тұрғыдан қарсылас бола алатын генеративтік пайдалану жағдайлары үшін. Жақсы мониторинг модельдер регрессияға ұшыраған кезде кері қайтару шешімдерін де қолдайды.

Өнімділікті төмендетпей, бұлттық жасанды интеллект шығындарын азайту

Жалпы тәсіл - талапқа сай келетін ең кіші модельді пайдалану, содан кейін топтастыру және кэштеу арқылы қорытындыны оңтайландыру. Автомасштабтау көмектеседі, бірақ «серпімділік» «шексіз шығындарға» айналмас үшін шектеулер қажет. Оқыту үшін, егер сіздің жұмысыңыз үзілістерге төтеп берсе, нүктелік/алдын ала есептеу көп үнемдеуге мүмкіндік береді. Соңғы нүктеге және әрбір мүмкіндікке шаққандағы шығындарды бақылау жүйенің дұрыс емес бөлігін оңтайландыруға жол бермейді.

Бұлттағы жасанды интеллектпен байланысты ең үлкен қауіпсіздік және сәйкестік тәуекелдері

Үлкен тәуекелдер - деректерге бақылаусыз қол жеткізу, құпияларды басқарудың әлсіздігі және кімнің нені оқытып, орналастырғанын анықтайтын аудит жолдарының болмауы. Генеративті жасанды интеллект жедел енгізу, қауіпсіз емес шығыстар және журналдарда көрсетілетін құпия деректердің сияқты қосымша қиындықтарды тудырады. Көптеген құбырларға ортаны оқшаулау (dev/staging/prod) және шақырулар, шығыстар және қорытындыларды тіркеу үшін айқын саясат қажет. Ең қауіпсіз орнатулар басқаруды іске қосу аптасының патчы емес, негізгі жүйелік талап ретінде қарастырады.

Сілтемелер

1. Ұлттық стандарттар және технологиялар институты (NIST) - SP 800-145 (соңғы) - csrc.nist.gov

2. Google Cloud - Жасанды интеллектке арналған графикалық процессорлар - cloud.google.com

3. Google Cloud - Cloud TPU құжаттамасы - docs.cloud.google.com

4. Amazon Web Services (AWS) - Amazon S3 (нысанды сақтау) - aws.amazon.com

5. Amazon Web Services (AWS) - Деректер көлі дегеніміз не? - aws.amazon.com

6. Amazon Web Services (AWS) - Деректер қоймасы дегеніміз не? - aws.amazon.com

7. Amazon веб-қызметтері (AWS) - AWS жасанды интеллект қызметтері - aws.amazon.com

8. Google Cloud - Google Cloud AI API интерфейстері - cloud.google.com

9. Google Cloud - MLOps дегеніміз не? - cloud.google.com

10. Google Cloud - Vertex AI моделінің тізілімі (Кіріспе) - docs.cloud.google.com

11. Red Hat - REST API дегеніміз не? - redhat.com

12. Amazon Web Services (AWS) құжаттамасы - SageMaker Batch Transform - docs.aws.amazon.com

13. Amazon Web Services (AWS) - Деректер қоймасы және деректер көлі және деректер марты - aws.amazon.com

14. Microsoft Learn - Azure ML тізілімдері (MLOps) - learn.microsoft.com

15. Google Cloud - Google Cloud Storage қызметіне шолу - docs.cloud.google.com

16. arXiv - Іздеу арқылы кеңейтілген генерация (RAG) мақаласы - arxiv.org

17. Amazon Web Services (AWS) құжаттамасы - SageMaker серверсіз қорытындысы - docs.aws.amazon.com

18. Kubernetes - Көлденең Pod автомасштабы - kubernetes.io

19. Google Cloud - Vertex AI пакеттік болжамдары - docs.cloud.google.com

20. Amazon Web Services (AWS) құжаттамасы - SageMaker модель мониторы - docs.aws.amazon.com

21. Google Cloud - Vertex AI моделін бақылау (модельді бақылауды пайдалану) - docs.cloud.google.com

22. Amazon веб-қызметтері (AWS) - Amazon EC2 нүктелік даналары - aws.amazon.com

23. Google Cloud - Алдын ала сатып алуға болатын виртуалды машиналар - docs.cloud.google.com

24. Amazon Web Services (AWS) құжаттамасы - AWS SageMaker: қалай жұмыс істейді (Оқыту) - docs.aws.amazon.com

25. Google Cloud - Google Vertex AI - cloud.google.com

26. Microsoft Azure - Azure машиналық оқыту - azure.microsoft.com

27. Databricks - Databricks көл үйі - databricks.com

28. Snowflake құжаттамасы - Snowflake AI мүмкіндіктері (шолу нұсқаулығы) - docs.snowflake.com

29. IBM - IBM watsonx - ibm.com

30. Google Cloud - Cloud Natural Language API құжаттамасы - docs.cloud.google.com

31. Snowflake құжаттамасы - Snowflake Cortex AI функциялары (AI SQL) - docs.snowflake.com

32. MLflow - MLflow бақылауы - mlflow.org

33. MLflow - MLflow үлгі тізілімі - mlflow.org

34. Google Cloud - MLOps: Машиналық оқытудағы үздіксіз жеткізу және автоматтандыру құбырлары - cloud.google.com

35. Amazon веб-қызметтері (AWS) - SageMaker мүмкіндіктері дүкені - aws.amazon.com

36. IBM - IBM watsonx.governance - ibm.com

Ресми AI көмекші дүкенінен ең соңғы AI-ді табыңыз

Біз туралы