Бұрын жасанды интеллект үлкен серверлерде және бұлттық графикалық процессорларда жұмыс істейтін. Қазір ол кішірейіп, сенсорлардың жанында жылжып барады. Кіріктірілген жүйелерге арналған жасанды интеллект алысқа баратын нәрсе емес - ол тоңазытқыштарда, дрондарда, киілетін құрылғыларда... тіпті мүлдем «ақылды» көрінбейтін құрылғыларда да ызыңдап тұр.
Міне, бұл өзгеріс неліктен маңызды, оны қиындататын нәрсе және қандай нұсқалар сіздің уақытыңызға тұрарлық.
Осыдан кейін оқуға болатын мақалалар:
🔗 Этикалық талаптарға сай және ашық жасанды интеллект жүйелерін қамтамасыз ететін ең жақсы жасанды интеллект басқару құралдары
Этикалық, үйлесімді және ашық жасанды интеллектті сақтауға көмектесетін құралдарға арналған нұсқаулық.
🔗 Жасанды интеллект үшін нысандарды сақтау: таңдаулар, таңдаулар, таңдаулар
Жасанды интеллект жұмыс жүктемелеріне бейімделген нысандарды сақтау опцияларын салыстыру.
🔗 Жасанды интеллект үшін деректерді сақтау талаптары: сіз шынымен білуіңіз керек нәрселер
Жасанды интеллект деректерін сақтауды жоспарлау кезінде ескеретін негізгі факторлар.
Кіріктірілген жүйелерге арналған жасанды интеллект🌱
Кірістірілген құрылғылар өте кішкентай, көбінесе батареямен жұмыс істейді және ресурстары шектеулі. Дегенмен, жасанды интеллект үлкен жеңістерге жол ашады:
-
Бұлтты айналма сапарларсыз нақты уақыт режимінде шешімдер қабылдау
-
Дизайн бойынша құпиялылық - шикі деректер құрылғыда қалуы мүмкін.
-
Миллисекундтар маңызды болған кезде кідіріс азаяды
-
Мұқият модель + аппараттық құралдарды таңдау арқылы энергияны үнемдеуге негізделген қорытынды жасау
Бұл қолмен тербелетін артықшылықтар емес: есептеуді шетіне дейін итеру желіге тәуелділікті азайтады және көптеген пайдалану жағдайларында құпиялылықты күшейтеді [1].
Мәселе күш қолдануда емес, шектеулі ресурстармен ақылды болуда. Марафонды рюкзакпен жүгіріп өтуді елестетіп көріңізші... ал инженерлер кірпіштерді алып тастай береді.
Кіріктірілген жүйелерге арналған жасанды интеллекттің жылдам салыстыру кестесі 📝
| Құрал / Құрылым | Идеал аудитория | Бағасы (шамамен) | Неліктен жұмыс істейді (ерекше ескертпелер) |
|---|---|---|---|
| TensorFlow Lite | Әзірлеушілер, әуесқойлар | Тегін | Ықшам, портативті, керемет MCU → мобильді қамту |
| Edge Impulse | Жаңадан бастаушылар және стартаптар | Freemium деңгейлері | Сүйреп апару жұмыс процесі - мысалы, «AI LEGO» |
| Nvidia Jetson платформасы | Энергияға мұқтаж инженерлер | $$$ (арзан емес) | Ауыр көру/жұмыс жүктемесіне арналған GPU + үдеткіштер |
| TinyML (Arduino арқылы) | Тәрбиешілер, прототип жасаушылар | Төмен баға | Қолжетімді; қоғамдастыққа бағытталған ❤️ |
| Qualcomm AI қозғалтқышы | OEM, мобильді өндірушілер | Әртүрлі | Snapdragon жүйесінде NPU жеделдетілген - жасырын жылдам |
| ExecuTorch (PyTorch) | Мобильді және шеткі әзірлеушілер | Тегін | Телефондар/киетін құрылғылар/енгізілген құрылғылар үшін құрылғыдағы PyTorch жұмыс уақыты [5] |
(Иә, біркелкі емес. Шындық та солай.)
Неліктен ендірілген құрылғылардағы жасанды интеллект сала үшін маңызды 🏭
Тек жарнама ғана емес: зауыттық желілерде ықшам модельдер ақауларды анықтайды; ауыл шаруашылығында қуаты аз түйіндер даладағы топырақты талдайды; көліктерде қауіпсіздік элементтері тежеу алдында «үйге қоңырау шала» алмайды. Кідіріс пен құпиялылық талқыланбайтын , есептеуді шетіне жылжыту стратегиялық тұтқа болып табылады [1].
TinyML: Кіріктірілген жасанды интеллекттің үнсіз батыры 🐜
TinyML микроконтроллерлерде килобайттан бірнеше мегабайтқа дейінгі жедел жады бар модельдерді іске қосады - бірақ кілт сөздерді анықтау, қимылдарды тану, аномалияларды анықтау және т.б. мүмкіндіктерді ұсынады. Бұл тышқанның кірпішті көтергенін көргендей. Таңқаларлықтай қанағаттанарлық.
Жылдам ойлау моделі:
-
Деректер іздері : шағын, ағынды сенсор кірістері.
-
Модельдер : ықшам CNN/RNN, классикалық ML немесе шашыраңқы/квантталған желілер.
-
Бюджеттер : ватт емес, милливатт; ГБ емес, киловатт–МБ.
Аппараттық құралдарды таңдау: құны мен өнімділігі ⚔️
Көптеген жобалардың ауытқуы - жабдықты таңдау:
-
Raspberry Pi класы : ыңғайлы, жалпы мақсаттағы процессор; прототиптер үшін берік.
-
NVIDIA Jetson ондағаннан жүздеген TOPS-тарды жеткізетін арнайы жасалған шеткі жасанды интеллект модульдері (мысалы, Orin) - керемет, бірақ қымбатырақ және қуатты көп тұтынады [4].
-
Google Coral (Edge TPU) шамамен 2 Вт (~2 TOPS/W) кезінде ~4 TOPS жеткізетін ASIC үдеткіші - сіздің моделіңіз шектеулерге сәйкес келгенде керемет өнімділік/W [3].
-
Смартфонның SoC процессорлары (Snapdragon) : модельдерді құрылғыда тиімді іске қосу үшін NPU және SDK-лармен бірге жеткізіледі.
Басты ереже: шығындарды, жылулық көрсеткіштерді және есептеуді теңестіру. «Барлық жерде жеткілікті жақсы» деген сөз көбінесе «ең озық, еш жерде емес» деген сөзден асып түседі.
Кіріктірілген жүйелерге арналған жасанды интеллекттегі жиі кездесетін қиындықтар 🤯
Инженерлер үнемі келесі мәселелермен күреседі:
-
Жады тығыз : кішкентай құрылғылар алып модельдерді орналастыра алмайды.
-
Батарея бюджеттері : әрбір миллиампер маңызды.
-
Модельді оңтайландыру:
-
Кванттау → кішірек, жылдамырақ int8/float16 салмақтары/белсендірулері.
-
кесу → шамалы салмақтарды алып тастаңыз.
-
Кластерлеу/салмақты бөлісу → әрі қарай қысу.
Бұл құрылғыдағы тиімділіктің стандартты әдістері [2].
-
-
Масштабтау : Arduino сыныптық демонстрациясы ≠ қауіпсіздік, қорғаныс және өмірлік цикл шектеулері бар автомобиль өндірісі жүйесі.
Қатені түзету ме? Құлпын ашып кітап оқып отырғаныңызды елестетіп көріңіз... қолғап киіп.
Практикалық қолданыстар, сіз жақын арада көбірек көресіз 🚀
-
Ақылды киілетін құрылғылар құрылғыдағы денсаулыққа қатысты талдаулар жасайды.
-
IoT камералары шикі кадрларды көрсетпей оқиғаларды белгілейді.
-
Қолды бос басқаруға арналған офлайн дауыстық көмекшілер
-
Тексеру, жеткізу және дәл ауыл шаруашылығына арналған автономды дрондар
Қысқасы: жасанды интеллект біздің білектерімізге, ас үйімізге және инфрақұрылымымызға жақындап келеді.
Әзірлеушілер қалай бастай алады 🛠️
-
Кең құралдар мен MCU→мобильді қамту үшін TensorFlow Lite- тен бастаңыз
-
Егер сіз PyTorch аймағында тұрсаңыз және мобильді және ендірілген құрылғыларда құрылғыда жұмыс істеу уақытын қажет етсеңіз, ExecuTorch бағдарламасын зерттеңіз
-
Жылдам және керемет прототип жасау үшін Arduino + TinyML жинақтарын қолданып көріңіз
-
Көрнекі құбырларды қалайсыз ба? Edge Impulse деректерді жинау, оқыту және орналастыру арқылы кедергіні төмендетеді.
-
Аппараттық құралдарды бірінші дәрежелі азамат ретінде қарастырыңыз - процессорлардағы прототип, содан кейін кідіріс, термиялық мәндер және дәлдік дельталарын растау үшін мақсатты үдеткіште (Edge TPU, Jetson, NPU) тексеріңіз.
Мини-виньетка: Топ монета ұяшығының сенсорына діріл аномалиясын анықтайтын құрылғыны жібереді. float32 моделі қуат бюджетін үнемдейді; int8 кванттауы әрбір қорытындыға энергияны азайтады, жадты қысқартады және MCU жұмысты аяқтайды - желі қажет емес [2,3].
Кіріктірілген жүйелерге арналған жасанды интеллекттің тыныш революциясы 🌍
сезінуді → ойлауды → әрекет етуді үйренуде . Батареяның қызмет ету мерзімі бізді әрқашан мазалайды, бірақ бағыт айқын: тығызырақ модельдер, жақсырақ компиляторлар, ақылды үдеткіштер. Нәтижесі? Жеке және жауапты сезілетін технология, себебі ол тек байланысты емес - ол назар аудару.
Сілтемелер
[1] ETSI (Көп қолжетімді Edge Computing) - Кідіріс/құпиялылық артықшылықтары және салалық контекст.
ETSI MEC: Жаңа ақ қағазға шолу
[2] Google TensorFlow моделін оңтайландыру құралдар жинағы - Құрылғыдағы тиімділікті арттыру үшін кванттау, кесу, кластерлеу.
TensorFlow моделін оңтайландыру бойынша нұсқаулық
[3] Google Coral Edge TPU - Жиек үдеуіне арналған өнімділік/W эталондары.
Edge TPU эталондары
[4] NVIDIA Jetson Orin (Ресми) - Edge AI модульдері және өнімділік конверттері.
Jetson Orin модульдеріне шолу
[5] PyTorch ExecuTorch (Ресми құжаттар) - мобильді және Edge құрылғыларына арналған құрылғыдағы PyTorch жұмыс уақыты.
ExecuTorch шолуы