Жауап: Жасанды интеллект қарапайым мәтіндік тапсырма үшін өте аз электр энергиясын пайдалана алады, бірақ сұраулар ұзақ болғанда, шығыстар мультимодальды болғанда немесе жүйелер үлкен көлемде жұмыс істегенде әлдеқайда көп. Әдетте оқыту бастапқы энергияның негізгі соққысы болып табылады, ал сұраулар жинақталған сайын күнделікті қорытынды маңызды бола түседі.
Негізгі қорытындылар:
Контекст: Кез келген энергия бағасын келтірмес бұрын тапсырманы, модельді, жабдықты және масштабты анықтаңыз.
Оқыту: Бюджетті жоспарлау кезінде модельдік оқытуды негізгі алдын ала энергетикалық іс-шара ретінде қарастырыңыз.
Қорытынды: Қайталанатын қорытындыны мұқият бақылаңыз, себебі әрбір сұраныс бойынша шағын шығындар масштабта тез жиналады.
Инфрақұрылым: кез келген нақты бағалауға салқындату, сақтау, желілер және бос тұру қуатын қосыңыз.
Тиімділік: Энергияны тұтынуды азайту үшін кішірек модельдерді, қысқа шақыруларды, кэштеуді және топтаманы пайдаланыңыз.
Осыдан кейін оқуға болатын мақалалар:
🔗 Жасанды интеллект қоршаған ортаға қалай әсер етеді
Жасанды интеллекттің көміртегі ізін, энергияны пайдалануды және тұрақтылықтың өзара байланысын түсіндіреді.
🔗 Жасанды интеллект қоршаған ортаға зиян ба?
Жасанды интеллект модельдері мен деректер орталықтарының жасырын экологиялық шығындарын ашады.
🔗 Жасанды интеллект жақсы ма, әлде жаман ба? Артықшылықтары мен кемшіліктері
Жасанды интеллекттің пайдасына, тәуекелдеріне, этикасына және нақты әсерлеріне теңгерімді көзқарас.
🔗 Жасанды интеллект дегеніміз не? Қарапайым нұсқаулық
Бірнеше минут ішінде жасанды интеллект негіздерін, негізгі терминдерді және күнделікті мысалдарды үйреніңіз.
Неліктен бұл сұрақ адамдар ойлағаннан да маңыздырақ 🔍
Жасанды интеллект энергиясын пайдалану тек қоршаған ортаны қорғау мәселесі ғана емес. Ол бірнеше нақты мәселелерді қозғайды:
-
Электр энергиясының құны - әсіресе көптеген жасанды интеллект сұраныстарын орындайтын бизнес үшін
-
Көміртегі әсері - серверлердің артындағы қуат көзіне байланысты
-
Аппараттық құралдың кернеуі - қуатты чиптер айтарлықтай қуат тартады
-
Масштабтау бойынша шешімдер - бір арзан ұсыныс миллиондаған қымбат шешімдерге айналуы мүмкін
-
Өнім дизайны - тиімділік көбінесе адамдар ойлағаннан да жақсы мүмкіндік болып табылады (Google Cloud, Green AI)
Көптеген адамдар «Жасанды интеллект қанша энергия пайдаланады?» деп сұрайды, себебі олар керемет санды қалайды. Үлкен нәрсе. Тақырыпқа ыңғайлы нәрсе. Бірақ ең жақсы сұрақ мынада: біз қандай ЖС пайдалану туралы айтып отырмыз? Өйткені бұл бәрін өзгертеді. (IEA)
Бір ғана автотолтыру ұсынысы ма? Кішкентай.
Үлкен кластерлер арқылы шекаралық модельді оқыту ма? Әлдеқайда үлкенірек.
Миллиондаған пайдаланушыларға әсер ететін үнемі жұмыс істейтін кәсіпорындық жасанды интеллект жұмыс процесі ме? Иә, бұл тез жиналады... тиындардың жалдау ақысына айналуы сияқты. (DOE, Google Cloud)
Жасанды интеллект қанша энергия жұмсайды? Қысқа жауап ⚡
Міне, практикалық нұсқасы.
Жасанды интеллект жеңіл тапсырма үшін ватт-сағаттың кішкентай бөлігінен бастап, ауқымды оқыту мен орналастыру үшін үлкен көлемдегі электр энергиясына дейін кез келген жерде пайдалана алады. Бұл диапазон өте кең естіледі, себебі ол кең. (Google Cloud, Strubell және т.б.)
Қарапайым тілмен айтқанда:
-
Қарапайым қорытынды жасау тапсырмалары - көбінесе әр қолдану үшін салыстырмалы түрде қарапайым
-
Ұзақ әңгімелер, үлкен шығыстар, кескін жасау, бейне жасау - айтарлықтай көп энергияны қажет етеді
-
Ірі модельдерді жаттықтыру - қуат тұтынудың ауыр салмақтағы чемпионы
-
Күні бойы ауқымды түрде жасанды интеллект жұмыс істейді - мұнда «әрбір сұранысқа шаққанда аз мөлшердегі сұраныс» «үлкен жалпы шотқа» айналады (Google Cloud, DOE)
Жақсы ереже мынау:
-
Тренинг – бұл үлкен энергетикалық іс-шара 🏭
-
Қорытынды - бұл коммуналдық қызметтердің ағымдағы шоты 💡 (Струбелл және т.б., Google Research)
деп сұрағанда Жасанды интеллект қанша энергия пайдаланады?», тікелей жауап: «Бір мөлшер емес - тиімділік маңызды болғаны жеткілікті, ал масштаб бүкіл оқиғаны өзгерткені жеткілікті» (IEA, Жасыл жасанды интеллект)
Бұл адамдар қалағандай қызықты емес екенін білемін. Бірақ бұл рас.
Жасанды интеллект энергиясын бағалаудың жақсы нұсқасын не құрайды? 🧠
Жақсы бағалау тек графикаға тасталған драмалық сан емес. Практикалық бағалау контекстті қамтиды. Әйтпесе, бұл тұманды жуынатын бөлмедегі таразымен өлшеумен бірдей. Әсерлі естілетіндей жақын, сенетіндей жақын емес. (IEA, Google Cloud)
Жасанды интеллект энергиясын бағалаудың лайықты бағасы мыналарды қамтуы керек:
-
Тапсырма түрі - мәтін, сурет, аудио, бейне, оқыту, дәл баптау
-
Модель өлшемі - үлкенірек модельдер әдетте көбірек есептеуді қажет етеді
-
Қолданылатын аппараттық құрал - барлық чиптер бірдей тиімді емес
-
Сессия ұзақтығы - қысқа шақырулар мен ұзақ көп сатылы жұмыс процестері өте ерекшеленеді
-
Пайдалану - бос тұрған жүйелер әлі де қуат тұтынады
-
Салқындату және инфрақұрылым - сервер - бұл барлық шығындар емес
-
Орналасқан жері мен энергия үйлесімі - электр энергиясы барлық жерде бірдей таза емес (Google Cloud, IEA)
Міне, сондықтан екі адам жасанды интеллект электр энергиясын пайдалану туралы дауласа алады және екеуі де мүлдем басқа нәрселер туралы сөйлескенде сенімді болып көрінеді. Бір адам бір чатботтың жауабын білдіреді. Екіншісі үлкен жаттығуды білдіреді. Екеуі де «Жасанды интеллект» дейді де, кенеттен әңгіме рельстен шығып кетеді 😅
Салыстыру кестесі - жасанды интеллект энергиясын пайдалануды бағалаудың ең жақсы тәсілдері 📊
Міне, сұрақты өнерге айналдырмай жауап беруге тырысатын кез келген адамға арналған практикалық кесте.
| Құрал немесе әдіс | Ең үздік аудитория | Бағасы | Неліктен жұмыс істейді |
|---|---|---|---|
| Қарапайым ереже бойынша бағалау | Қызығушылық танытқан оқырмандар, студенттер | Тегін | Жылдам, оңай, аздап түсініксіз - бірақ шамамен салыстыру үшін жеткілікті жақсы |
| Құрылғы жағындағы ваттметр | Жеке құрылысшылар, әуесқойлар | Төмен | Машинаның нақты тарту күшін өлшейді, ол сергітетіндей бетоннан жасалған |
| GPU телеметриясының басқару тақтасы | Инженерлер, машина жасау командалары | Орташа | Есептеуді қажет ететін тапсырмалар бойынша егжей-тегжейлі ақпарат жақсырақ, дегенмен бұл үлкенірек жабдықтың шығындарын жіберіп алуы мүмкін |
| Бұлттық төлем + пайдалану журналдары | Стартаптар, операциялық топтар | Ортадан жоғарыға дейін | Жасанды интеллектті пайдалануды нақты шығындармен байланыстырады - мінсіз емес, бірақ әлі де өте құнды |
| Деректер орталығының энергия есебі | Кәсіпорын командалары | Жоғары | Кеңірек операциялық көрінуді қамтамасыз етеді, салқындату және инфрақұрылым осында пайда бола бастайды |
| Толық өмірлік циклді бағалау | Тұрақты даму топтары, ірі ұйымдар | Жоғары сезімталдық, кейде ауырады | Байыпты талдау үшін ең жақсысы, себебі ол чиптің өзінен тыс нәрселерді қамтиды... бірақ ол баяу және өте жылдам |
Мінсіз әдіс жоқ. Бұл аздап көңіл көншітпейтін тұсы. Бірақ құндылық деңгейлері бар. Әдетте, қызмет көрсетуге жарамды нәрсе мінсіз әдістен асып түседі. (Google Cloud)
Ең үлкен фактор сиқыр емес - бұл есептеу және аппараттық құрал 🖥️🔥
Адамдар жасанды интеллект энергиясын пайдалануды елестеткенде, көбінесе модельдің өзін энергия тұтынатын нәрсе ретінде елестетеді. Бірақ модель - аппараттық құралда жұмыс істейтін бағдарламалық жасақтама логикасы. Аппараттық құрал - электр энергиясының шоты пайда болатын жер. (Струбелл және т.б., Google Cloud)
Ең үлкен айнымалыларға әдетте мыналар жатады:
-
GPU немесе үдеткіш түрі
-
Қанша чип қолданылады
-
Олар қанша уақыт белсенді болып қалады
-
Жад жүктемесі
-
Партия көлемі және өткізу қабілеті
-
Жүйе жақсы оңтайландырылған ба, әлде барлығын мәжбүрлеп жасай ма (Google Cloud, LLM энергиясын пайдаланудағы кванттау, пакеттеу және қызмет көрсету стратегиялары)
Жоғары оңтайландырылған жүйе аз энергиямен көбірек жұмыс істей алады. Немқұрайлы жүйе электр энергиясын сенімді түрде босқа жұмсай алады. Білесіз бе, кейбір қондырғылар жарыс көліктері, ал кейбіреулері зымырандары скотчпен жапсырылған сауда арбалары 🚀🛒
Иә, модель өлшемі маңызды. Үлкен модельдер, әсіресе ұзақ нәтижелерді генерациялау немесе күрделі ойлауды өңдеу кезінде көбірек жад пен көбірек есептеуді қажет етеді. Бірақ тиімділік трюктері суретті өзгерте алады: (Жасыл жасанды интеллект, LLM энергиясын пайдаланудағы кванттау, пакеттеу және қызмет көрсету стратегиялары)
-
кванттау
-
жақсырақ маршруттау
-
кішігірім мамандандырылған модельдер
-
кэштеу
-
партиялау
-
Ақылды аппараттық жоспарлау (LLM энергиясын пайдалануда кванттау, пакеттеу және қызмет көрсету стратегиялары)
Сондықтан сұрақ тек «Модель қаншалықты үлкен?» ғана емес, сонымен қатар «Ол қаншалықты ақылды түрде басқарылып жатыр?»
Жаттығу және қорытынды - бұлар әртүрлі жануарлар 🐘🐇
Бұл бөліну барлығын дерлік шатастырады.
Жаттығу
Оқыту - бұл модель үлкен деректер жиынтығынан үлгілерді үйренген кезде. Бұл көптеген чиптердің ұзақ уақыт бойы жұмыс істеуін және үлкен көлемдегі деректерді өңдеуді қамтуы мүмкін. Бұл кезең энергияны көп қажет етеді. Кейде өте көп. (Струбелл және т.б.)
Жаттығу энергиясы мыналарға байланысты:
-
модель өлшемі
-
деректер жиынының өлшемі
-
жаттығу жүгірулерінің саны
-
сәтсіз эксперименттер
-
дәл баптау пастары
-
аппараттық тиімділік
-
Салқындату үстеме шығындары (Струбелл және т.б., Google Research)
Міне, адамдар жиі жіберіп алатын бөлігі - көпшілік көбінесе бір рет жасалған үлкен жаттығу жүгірісін оқиғаның соңы деп елестетеді. Іс жүзінде, әзірлеу қайталанатын жүгірістерді, баптауды, қайта даярлауды, бағалауды және негізгі оқиғаның айналасындағы барлық қарапайым, бірақ қымбат итерацияларды қамтуы мүмкін. (Струбелл және т.б., Жасыл жасанды интеллект)
Қорытынды
Қорытынды - нақты пайдаланушы сұраныстарына жауап беретін модель. Бір сұраныс көп көрінбеуі мүмкін. Бірақ қорытынды қайта-қайта жасалады. Миллиондаған рет. Кейде миллиардтаған рет. (Google Research, DOE)
Қорытынды энергиясы келесідей өседі:
-
шақыру ұзындығы
-
шығыс ұзындығы
-
пайдаланушылар саны
-
кідіріс талаптары
-
мультимодальды мүмкіндіктер
-
жұмыс уақытының күтілетін уақыты
-
қауіпсіздік және кейінгі өңдеу қадамдары (Google Cloud, LLM энергиясын пайдаланудағы кванттау, пакеттеу және қызмет көрсету стратегиялары)
Сонымен, жаттығу – жер сілкінісі. Қорытынды – толқын. Біреуі драмалық, екіншісі тұрақты, және екеуі де жағалауды аздап өзгерте алады. Бұл ерекше метафора болуы мүмкін, бірақ ол бір-бірімен тығыз байланысты... азды-көпті.
Адамдар ұмытып кететін жасырын энергия шығындары 😬
Біреу тек чипке қарап, жасанды интеллект қуатын пайдалануды бағалағанда, олар әдетте аз есептейді. Әрқашан апатты емес, бірақ маңызды. (Google Cloud, IEA)
Міне, жасырын бөліктер:
Салқындату ❄️
Серверлер жылу шығарады. Қуатты жасанды интеллект жабдықтары оны көп шығарады. Салқындату міндетті емес. Есептеу кезінде тұтынылатын әрбір ватт температураны қалыпты ұстау үшін көбірек энергия тұтынуға әкеледі. (IEA, Google Cloud)
Деректер қозғалысы 🌐
Деректерді сақтау, жад және желілер арқылы жылжыту да энергияны қажет етеді. Жасанды интеллект тек «ойлау» ғана емес. Ол сонымен қатар ақпаратты үнемі араластырып отырады. (IEA)
Бос жүріс сыйымдылығы 💤
Ең жоғары сұранысқа арналған жүйелер әрқашан ең жоғары сұраныста жұмыс істей бермейді. Бос тұрған немесе толық пайдаланылмаған инфрақұрылым әлі де электр энергиясын тұтынады. (Google Cloud)
Артықшылық және сенімділік 🧱
Сақтық көшірмелер, істен шығу жүйелері, қайталанатын аймақтар, қауіпсіздік деңгейлері - бәрі құнды, барлығы үлкен энергетикалық көріністің бөлігі. (IEA)
Сақтау орны 📦
Оқыту деректері, ендірмелер, журналдар, бақылау нүктелері, жасалған шығыстар - мұның бәрі бір жерде тұрады. Сақтау есептеуден арзанырақ, бірақ энергия тұрғысынан тегін емес. (IEA)
Міне, сондықтан жасанды интеллект қанша энергия жұмсайды деген сұраққа бір ғана эталондық диаграммаға қарап жауап беру мүмкін емес. Толық стек маңызды. (Google Cloud, IEA)
Неліктен бір жасанды интеллект тапсырмасы кішкентай болуы мүмкін - ал келесісі құбыжық болуы мүмкін 📝➡️🎬
Барлық сұраулар бірдей жасалмайды. Сөйлемді қайта жазуға арналған қысқа сұраныс ұзақ талдауды, көп сатылы кодтау сеансын немесе жоғары ажыратымдылықтағы кескін жасауды сұраумен салыстыруға келмейді. (Google Cloud)
Әр әрекеттесу кезінде энергия шығынын арттыратын факторлар:
-
Ұзынырақ контекстік терезелер
-
Ұзақ жауаптар
-
Құралды пайдалану және қалпына келтіру қадамдары
-
Дәлелдеу немесе валидация үшін бірнеше өту
-
Кескін, аудио немесе бейне жасау
-
Жоғары параллельдік
-
Төмен кідіріс мақсаттары (Google Cloud, LLM энергиясын пайдаланудағы кванттау, пакеттеу және қызмет көрсету стратегиялары)
Жеңіл мәтіндік жауап салыстырмалы түрде арзан болуы мүмкін. Алып мультимодальды жұмыс процесі арзан болмауы мүмкін. Бұл кофеге тапсырыс беру мен үйлену тойына тамақтандыру сияқты. Техникалық тұрғыдан алғанда, екеуі де «тамақтандыру қызметі» болып саналады. Біреуі екіншісіне ұқсамайды ☕🎉
Бұл, әсіресе, өнім топтары үшін маңызды. Аз пайдалану кезінде зиянсыз болып көрінетін мүмкіндік, егер әрбір пайдаланушы сеансы ұзағырақ, байытылған және есептеулерді көп қажет ететін болса, масштабта қымбатқа түсуі мүмкін. (DOE, Google Cloud)
Тұтынушының жасанды интеллекті және кәсіпорынның жасанды интеллекті бір нәрсе емес 🏢📱
Жасанды интеллектті кездейсоқ пайдаланатын қарапайым адам кездейсоқ келетін сигналдарды үлкен мәселе деп ойлауы мүмкін. Әдетте, негізгі энергетикалық оқиға онда емес. (Google Cloud)
Кәсіпорынды пайдалану математиканы өзгертеді:
-
мыңдаған қызметкер
-
үнемі қосалқы ұшқыштар
-
автоматтандырылған құжаттарды өңдеу
-
қоңырауды қорытындылау
-
кескінді талдау
-
кодты қарап шығу құралдары
-
үздіксіз жұмыс істейтін фондық агенттер
Міне, осы жерде энергияның жалпы пайдаланылуы маңызды бола бастайды. Әрбір әрекет апокалиптикалық болғандықтан емес, қайталау көбейткіш болғандықтан. (DOE, IEA)
Менің жеке сынақтарым мен жұмыс процесіне шолуларымда адамдар осыған таң қалады. Олар модель атауына немесе жарқын демо нұсқасына назар аударады және дыбыс деңгейін елемейді. Дыбыс деңгейі көбінесе нақты драйвер болып табылады - немесе үнемдеу артықшылығы, бұл сіз тұтынушыларға есеп айырысып жатқаныңызға немесе коммуналдық қызметтерге ақы төлеп жатқаныңызға байланысты 😅
Тұтынушылар үшін әсер абстрактілі болып көрінуі мүмкін. Кәсіпорындар үшін ол өте тез нақты болады:
-
үлкен инфрақұрылымдық төлемдер
-
оңтайландыру үшін көбірек қысым
-
мүмкіндігінше кішірек модельдерге деген қажеттілік жоғарырақ
-
ішкі тұрақтылық туралы есеп
-
кэштеу мен маршруттауға көбірек көңіл бөлу (Google Cloud, Green AI)
Жасанды интеллекттен бас тартпай, жасанды интеллект энергиясын қалай азайтуға болады 🌱
Бұл бөлік маңызды, себебі мақсат «жасанды интеллектті пайдалануды тоқтату» емес. Әдетте бұл шындыққа жанаспайды, тіпті қажет емес. Жақсырақ пайдалану - ақылды жол.
Міне, ең үлкен рычагтар:
1. Жұмысты аяқтайтын ең кішкентай модельді пайдаланыңыз
Әрбір тапсырма ауыр салмақты нұсқаны қажет етпейді. Жіктеу немесе қорытындылау үшін жеңілірек модель қалдықтарды тез азайта алады. (Жасыл жасанды интеллект, Google Cloud)
2. Сұраулар мен шығыстарды қысқартыңыз
Толық енгізу, толық шығару. Қосымша токендер қосымша есептеуді білдіреді. Кейде шақыруды кесу ең оңай жеңіс болып табылады. (LLM энергиясын пайдаланудағы кванттау, пакеттеу және қызмет көрсету стратегиялары, Google Cloud)
3. Қайталанатын нәтижелерді кэштеу
Егер бірдей сұрау қайта-қайта пайда бола берсе, оны әр жолы қайталамаңыз. Бұл айқын көрінеді, бірақ ол байқалмайды. (Google Cloud)
4. Мүмкіндігінше топтық жұмыстар
Тапсырмаларды топтап орындау пайдалануды жақсартып, қалдықтарды азайта алады. (LLM энергиясын пайдаланудағы кванттау, топтау және қызмет көрсету стратегиялары)
5. Тапсырмаларды ақылды түрде бағыттаңыз
Үлкен модельдерді тек сенімділік төмендегенде немесе тапсырманың күрделілігі артқанда ғана пайдаланыңыз. (Жасыл жасанды интеллект, Google Cloud)
6. Инфрақұрылымды оңтайландыру
Жақсырақ кесте құру, жақсырақ жабдықтау, жақсырақ салқындату стратегиясы - қарапайым дүниелер, үлкен пайда. (Google Cloud, DOE)
7. Болжам жасамас бұрын өлшеңіз
Көптеген командалар күш қайда кетіп жатқанын білеміз деп ойлайды. Содан кейін олар өлшейді, міне, қымбат бөлігі басқа жерде жатыр. (Google Cloud)
Тиімділік жұмысы көз тартарлық емес. Ол сирек қошеметке ие болады. Бірақ бұл жасанды интеллектті қолжетімді және ауқымды түрде қорғалатын етудің ең жақсы тәсілдерінің бірі 👍
Жасанды интеллект электр энергиясын пайдалану туралы кең таралған мифтер 🚫
Бұл тақырып тез шатасып кететіндіктен, бірнеше мифті жоққа шығарайық.
Миф 1 - Әрбір жасанды интеллект сұрауы өте көп шығынға әкеледі
Міндетті түрде емес. Кейбіреулері қарапайым. Масштаб пен тапсырма түрі өте маңызды. (Google Cloud)
Миф 2 - Жаттығу - маңызды нәрсе
Жоқ. Пайдалану көлемі өте үлкен болған кезде уақыт өте келе болжам басым болуы мүмкін. (Google Research, DOE)
3-миф - Үлкен модель әрқашан жақсы нәтижені білдіреді
Кейде иә, кейде мүлдем жоқ. Көптеген тапсырмалар кішігірім жүйелермен жақсы жұмыс істейді. (Жасыл жасанды интеллект)
4-миф - Энергияны пайдалану көміртегі әсеріне автоматты түрде тең
Дәл солай емес. Көміртек те энергия көзіне байланысты. (IEA, Strubell және т.б.)
5-миф - Сіз жасанды интеллект энергиясын пайдалану үшін бір әмбебап сан ала аласыз
Сіз мұны істей алмайсыз, кем дегенде мағыналы болып қалатын түрде емес. Немесе жасай аласыз, бірақ ол соншалықты орташаланады, сондықтан ол құнды болуды тоқтатады. (IEA)
Міне, сондықтан «Жасанды интеллект қанша энергия пайдаланады?» ақылдылық болып табылады, бірақ тек ұранның орнына көп деңгейлі жауапқа дайын болсаңыз ғана.
Сонымен... жасанды интеллект шынымен қанша энергия тұтынады? 🤔
Міне, дәлелді қорытынды.
Жасанды интеллект келесілерді пайдаланады:
-
аздап, кейбір қарапайым тапсырмалар үшін
-
әлдеқайда көпауыр мультимодальды генерация үшін
-
өте көп мөлшердеауқымды модельдік оқыту үшін
-
жалпы алғанда өте үлкен сомауақыт өте келе миллиондаған сұраныстар жиналған кездеGoogle Cloud, DOE)
Оның пішіні сондай.
Ең бастысы - бүкіл мәселені бір қорқынышты санға немесе бір елемеушілікке толы иыққа тізіп қоймау. Жасанды интеллект энергиясын пайдалану шындық. Бұл маңызды. Оны жақсартуға болады. Ал бұл туралы айтудың ең жақсы жолы - театрландырылған көріністермен емес, контекстпен. (IEA, Жасыл жасанды интеллект)
Қоғамдық әңгімелердің көпшілігі шектен тыс ауысып отырады - бір жағынан «Жасанды интеллект негізінен тегін», екінші жағынан «Жасанды интеллект – электрлік апокалипсис». Шындық қарапайым, бұл оны ақпараттық етеді. Бұл жүйелік мәселе. Аппараттық құрал, бағдарламалық жасақтама, пайдалану, масштаб, салқындату, дизайн таңдаулары. Прозалық па? Аздап. Маңызды ма? Өте. (IEA, Google Cloud)
Негізгі ойлар⚡🧾
Егер сіз осында келіп, « Жасанды интеллект қанша энергия пайдаланады?», міне, қорытынды:
-
Барлығына бірдей сәйкес келетін сан жоқ
-
Әдетте жаттығу бастапқыда ең көп энергияны жұмсайды
-
Қорытынды масштабта маңызды факторға айналады
-
Модель өлшемі, аппараттық құрал-жабдықтар, жұмыс жүктемесі және салқындату - бәрі маңызды
-
Шағын оңтайландырулар таңқаларлықтай үлкен өзгеріс әкелуі мүмкін
-
Ең ақылды сұрақ тек «қанша» ғана емес, сонымен қатар «қай тапсырма үшін, қандай жүйеде, қандай ауқымда?» (IEA, Google Cloud)
Иә, жасанды интеллект нақты энергияны пайдаланады. Назар аударуға тұрарлықтай. Жақсы инженерияны ақтауға жеткілікті. Бірақ мультфильм тәрізді, бір санды түрде емес.
Нақты әлемдегі мысал: жасанды интеллект қолдау көмекшісінің энергия шығынын өлшеу
Сценарий
Тұтынушыларды қолдау қызметтеріне жауаптарды жазу үшін жасанды интеллект көмекшісін пайдаланатын шағын SaaS компаниясын елестетіп көріңізші. Бұл ойдан шығарылған, бірақ нақты мысал, компанияның кейс-стадиі емес.
Команда апта сайын шамамен 500 қолдау қызметіне жүгінеді. Көпшілігі қарапайым: құпия сөзді қалпына келтіру, төлем сұрақтары, мүмкіндіктерді түсіндіру және негізгі ақаулықтарды жою. Компания көмекшінің жауаптарды автоматты түрде жіберуін қаламайды. Ол адами қолдау агентінің қарауы үшін жауаптарды дайындайды.
Энергия мәселесі «Жасанды интеллект жалпы қанша пайдаланады?» деген сұрақта емес, ол практикалық тұрғыдан маңыздырақ:
«Осы жұмыс процесіне жасанды интеллект қосу арқылы біз қанша қосымша есептеу құралын жасаймыз және оны сапаға зиян келтірмей азайта аламыз ба?»
Көмекшіге не қажет
Команда келесідей бастамалар жасайтын еді:
Анық анықтама орталығының білім базасы
Бекітілген қайтару, құпиялылық және эскалация ережелерінің тізімі
Бұрынғы қолдауға қатысты 20-30 күшті жауап мысалы
Көмекшінің жіберу емес, жоба жасауы керек екендігі туралы нақты нұсқаулық
Бұлтты пайдалану журналдары немесе модель API пайдалану журналдары
Билет түрін, сұрау ұзындығын, шығыс ұзақтығын, қарау уақытын және жауаптың қабылданғанын бақылауға арналған қарапайым электрондық кесте
Маңыздысы - өлшеу. Журналдарсыз команда тек болжам жасайды.
Мысал нұсқаулығы
Сіз SaaS өнімі үшін қолдау көрсетуші көмекшісіз. Тек бекітілген анықтама орталығының мазмұны мен берілген саясат ескертпелерін пайдаланыңыз. 180 сөзден аз мөлшерде анық, сыпайы жауап жазыңыз. Егер тұтынушы ақшаны қайтаруды, тіркелгіні жоюды, заңгерлік кеңес алуды, қауіпсіздік мәліметтерін немесе құжаттарда қамтылмаған кез келген нәрсені сұраса, тікелей жауап бермеңіз. Оны адам шолуы үшін белгілеп, қандай ақпараттың жоқ екенін түсіндіріңіз.
Жауап жазбас бұрын, хатты келесідей жіктеңіз: қарапайым, саясатқа сезімтал, техникалық немесе эскалация қажет.
Оны қалай тексеруге болады
Команда көмекшіні тікелей эфирде қолданар алдында оны өткен 50 билетте сынап көре алады.
Қарапайым сынақ жиынтығы мыналарды қамтуы мүмкін:
10 құпия сөз немесе кіру билеті
10 төлем билеті
10 техникалық ақаулықтарды жою билеті
Тұтынушыға жіберілген 10 анық емес немесе толық емес хабарлама
Қайтаруларға, құпиялылыққа немесе шотты жабуға қатысты 10 саясатқа сезімтал айыппұл
Әрбір билет үшін команда мыналарды жазуы керек:
Жоба іс жүзінде дұрыс болды ма?
Тек бекітілген ақпаратты пайдаланды ма?
Сөз саны шектеуінен аспады ма?
Ол сезімтал жағдайларды дұрыс белгіледі ме?
Адам агенті оны өңдеуге қанша уақыт жұмсады?
Жұмыс процесі қанша токен немесе сұранысты пайдаланды?
Бұл командаға болжамдарға сүйенудің орнына салыстыруға нақты нәрсе береді.
Нәтиже
Көрнекі нәтиже: Жұмыс процесін пайдаланбас бұрын және пайдаланғаннан кейін 50 үлгі билеттің уақытын есептеу негізінде, топ бірінші жобаның орташа уақыты әр билет үшін 6 минуттан әр билет үшін 2 минутқа дейін төмендейтінін бағалайды.
Аптасына 500 билет сатып алу шамамен 2000 минутты немесе шамамен 33 сағаттық жобалау уақытын үнемдейді.
Бірақ журналдар сонымен қатар құнды нәрсені көрсетеді: билеттердің 38%-ы қарапайым қайталаулар. Әрбір жобаны нөлден бастап қайталаудың орнына, осы қайталанатын сұрақтарға бекітілген жауаптарды кэштеу арқылы команда жасанды интеллект сұраныстарын аптасына 500-ден аптасына 310-ға дейін қысқартады.
Бұл жасанды интеллект мүмкіндігін алып тастамай, осы жұмыс процесі үшін апта сайынғы қорытынды шақырулардың 38%-ға азаюын білдіреді.
Команда мұны салыстыру арқылы тексере алады:
Кэштеуге дейін және одан кейін апта сайынғы жалпы жасанды интеллект сұраныстары
Орташа шақыру және шығыс ұзындығы
Адамның қабылдау деңгейі
Дұрыс анықталған эскалациялар саны
Сапа ұпайларын немесе қайта қарау санын қолдау
Электр энергиясын нақты үнемдеу әлі де модельге, жабдыққа, провайдерге және инфрақұрылымға байланысты болады. Бірақ жұмыс жүктемесінің азаюының өзі өлшенеді.
Не дұрыс болмауы мүмкін
Егер эскалация ережелері анық болмаса, көмекші саясат сұрақтарына тым көп жауап беруі мүмкін.
Егер іздеу жүйесі нашар құрылымдалған болса, анықтама орталығының ұзын құжаттары сұрау ұзындығын ұлғайтуы мүмкін.
Агенттер еркін жазылған жобаларға тым тез сеніп, ұсақ қателіктерді жіберіп алуы мүмкін.
Ескі қайтару, баға белгілеу немесе құпиялылық саясаты айналымда қалса, кэштеу қауіпті болуы мүмкін.
Команда кездейсоқ пайдалы емес жауаптар шығара отырып, аз токендерді оңтайландыруы мүмкін.
Ең қауіпсіз нұсқа адамдарды хабардар етіп отырады, қабылданған жауаптарды өлшейді және саясат өзгерген сайын кэштелген жауаптарды қарап шығады.
Практикалық қорытынды
Жасанды интеллект энергиясын дұрыс бағалау нақты жұмыс процесінен басталады. Сұрауларды санау, сұрақтарды қысқарту, қайталанатын жауаптарды кэштеу және шолу сапасын өлшеу. Бұл «Жасанды интеллект қанша энергия пайдаланады?» деген сұрақты түсініксіз пікірталастан команда іс жүзінде жақсарта алатын сандары бар практикалық инженерлік сұраққа айналдырады.
Жиі қойылатын сұрақтар
Жасанды интеллект бір ғана тапсырма үшін қанша энергия жұмсайды?
Бір ғана сұрау үшін әмбебап сан жоқ, себебі энергия тұтыну модельге, жабдыққа, сұраудың ұзындығына, шығыс ұзындығына және кез келген қосымша құралды пайдалануға байланысты. Қысқа мәтіндік жауап салыстырмалы түрде қарапайым болуы мүмкін, ал ұзақ мультимодальды тапсырма айтарлықтай көп шығындауы мүмкін. Ең мағыналы жауап - бір ғана тақырып емес, тапсырманы қоршаған контекст.
Неліктен жасанды интеллекттің қуат тұтынуын бағалау соншалықты әртүрлі?
Бағалаулар әртүрлі, себебі адамдар көбінесе жасанды интеллекттің бір белгісімен өте әртүрлі нәрселерді салыстырады. Бір баға чатботтың жеңіл жауабын сипаттауы мүмкін, ал екіншісі кескін генерациясын, бейнені немесе кең ауқымды модельдік оқытуды қамтуы мүмкін. Бағалаудың мағыналы болуы үшін оған тапсырма түрі, модель өлшемі, аппараттық құрал, пайдалану, салқындату және орналасқан жері сияқты контекст қажет.
Энергия шығыны үлкенірек - жасанды интеллектті оқыту ма, әлде жасанды интеллектті күнделікті басқару ма?
Әдетте оқыту үлкен алдын ала энергиямен байланысты оқиға болып табылады, себебі ол көптеген чиптердің үлкен деректер жиынтығында ұзақ уақыт бойы жұмыс істеуін қамтуы мүмкін. Қорытынды - пайдаланушылар сұраныс жіберген сайын пайда болатын үздіксіз шығындар, және масштабта ол өте үлкен болуы мүмкін. Іс жүзінде екеуі де маңызды, бірақ олар әртүрлі жолдармен маңызды.
Бір жасанды интеллект сұранысын екіншісіне қарағанда әлдеқайда көп энергияны қажет ететін не?
Ұзын контекст терезелері, ұзағырақ шығыстар, қайталанатын ойлау өткізгіштері, құрал шақырулары, іздеу қадамдары және мультимодальды генерация - бұл өзара әрекеттесу үшін энергия тұтынуды арттыруға бейім. Кідіріс мақсаттары да маңызды, себебі жылдам жауап беру талаптары тиімділікті төмендетуі мүмкін. Кішкентай қайта жазу сұранысы мен ұзақ кодтау немесе кескін жұмыс процесін салыстыруға болмайды.
Жасанды интеллект қанша энергия пайдаланады деп сұрағанда, адамдар қандай жасырын энергия шығындарын байқамайды?
Көптеген адамдар тек чипке ғана назар аударады, бірақ бұл салқындатуды, деректерді тасымалдауды, сақтауды, бос тұру сыйымдылығын және сақтық көшірмелер немесе ауыстырып қосу аймақтары сияқты сенімділік жүйелерін елемейді. Бұл қолдаушы қабаттар жалпы ізді айтарлықтай өзгерте алады. Сондықтан эталон өздігінен толық энергия көрінісін сирек көрсетеді.
Үлкен жасанды интеллект моделі әрқашан көбірек энергияны пайдалана ма?
Үлкен модельдер әдетте көбірек есептеу және жадты қажет етеді, әсіресе ұзақ немесе күрделі шығыстар үшін, сондықтан олар көбінесе көбірек энергия тұтынады. Бірақ үлкенірек болу әрбір жұмыс үшін автоматты түрде жақсы дегенді білдірмейді, ал оңтайландыру суретті айтарлықтай өзгерте алады. Кішігірім мамандандырылған модельдер, кванттау, топтастыру, кэштеу және ақылды маршруттау тиімділікті арттыра алады.
Тұтынушының жасанды интеллекті негізгі энергия мәселесін пайдалана ма, әлде кәсіпорынның жасанды интеллекті мәселесі үлкен мәселе ме?
Тұтынушылардың күнделікті пайдалануы артуы мүмкін, бірақ энергияның үлкен тарихы көбінесе кәсіпорындық орналастыруларда пайда болады. Үнемі жұмыс істейтін қосалқы пилоттар, құжаттарды өңдеу, қоңырауларды қорытындылау, кодты қарау және фондық агенттер үлкен пайдаланушы базаларында қайталанатын сұранысты тудырады. Мәселе әдетте бір драмалық әрекетке емес, уақыт өте келе тұрақты көлемге байланысты.
Деректер орталықтары мен салқындатуды қосқанда, жасанды интеллект қанша энергия жұмсайды?
Кеңірек жүйе қосылғаннан кейін, жауап шынайы бола түседі және әдетте тек чипке негізделген бағалаулардан үлкенірек болады. Деректер орталықтары тек есептеу үшін ғана емес, сонымен қатар салқындату, желі құру, сақтау және қосалқы қуатты сақтау үшін де қуатты қажет етеді. Сондықтан инфрақұрылымды жобалау және нысанның тиімділігі модельді жобалау сияқты маңызды.
Нақты жұмыс процесінде жасанды интеллект энергиясын пайдалануды өлшеудің ең практикалық жолы қандай?
Ең жақсы әдіс кімнің және қандай мақсатта өлшеп жатқанына байланысты. Шамамен бір ереже жылдам салыстыруға көмектеседі, ал ваттметрлер, GPU телеметриясы, бұлттық төлем журналдары және деректер орталығының есеп беруі біртіндеп күшейтілген операциялық түсінік береді. Тұрақтылық жұмыстары үшін толыққанды өмірлік цикл көрінісі одан да күшті, бірақ ол баяу және талапшылырақ.
Командалар пайдалы жасанды интеллект мүмкіндіктерінен бас тартпай, жасанды интеллект энергиясын тұтынуды қалай азайта алады?
Ең үлкен пайда әдетте жұмысты әлі де атқаратын ең кіші модельді пайдаланудан, шақырулар мен шығыстарды қысқартудан, қайталанатын нәтижелерді кэштеуден, жұмысты топтастырудан және тек қиынырақ тапсырмаларды үлкенірек модельдерге бағыттаудан келеді. Инфрақұрылымды оңтайландыру да маңызды, әсіресе кесте құру және аппараттық тиімділік. Көптеген құбырларда алдымен өлшеу командалардың дұрыс емес нәрсені оңтайландыруына жол бермейді.
Сілтемелер
-
Халықаралық энергетика агенттігі (ХЭА) - Жасанды интеллекттен энергияға сұраныс - iea.org
-
АҚШ Энергетика министрлігі (DOE) - Энергетика министрлігі электр энергиясына деген сұраныстың артуын бағалайтын жаңа есеп жариялады - energy.gov
-
Google Cloud - Жасанды интеллект туралы қорытындының қоршаған ортаға әсерін өлшеу - cloud.google.com
-
Google Research - Машиналық оқытуды оқытудың көміртегі ізі туралы жақсы жаңалық - research.google
-
Google Research - Машиналық оқытуды оқытудың көміртегі ізі теңестіріліп, содан кейін азаяды - research.google
-
arXiv - Жасыл жасанды интеллект - arxiv.org
-
arXiv - Strubell et al. - arxiv.org
-
arXiv - LLM энергиясын пайдаланудағы кванттау, пакеттеу және қызмет көрсету стратегиялары - arxiv.org