AI бұрын үлкен серверлерде және бұлттық графикалық процессорларда өмір сүрді. Енді ол кішірейіп, сенсорлардың дәл жанында сырғып жатыр. Ендірілген жүйелерге арналған AI - бұл алыс уәде емес - ол қазірдің өзінде тоңазытқыштардың, дрондардың, киілетін құрылғылардың ... тіпті «ақылды» болып көрінбейтін құрылғылардың ішінде ызылдап жатыр.
Міне, бұл ауысым неге маңызды, оны не қиындатады және қандай опциялар уақытыңызды қажет етеді.
Осы мақаладан кейін оқығыңыз келетін мақалалар:
🔗 Этикалық талаптарға сай және ашық AI жүйелерін қамтамасыз ететін AI басқарудың ең жақсы құралдары
Этикалық, үйлесімді және мөлдір AI сақтауға көмектесетін құралдарға арналған нұсқаулық.
🔗 AI үшін нысанды сақтау: таңдаулар, таңдаулар, таңдаулар
AI жұмыс жүктемелеріне бейімделген нысанды сақтау опцияларын салыстыру.
🔗 AI үшін деректерді сақтау талаптары: сіз шынымен нені білуіңіз керек
AI деректерін сақтауды жоспарлау кезінде ескерілетін негізгі факторлар.
Енгізілген жүйелерге арналған AI🌱
Енгізілген құрылғылар кішкентай, көбінесе батареямен жұмыс істейді және ресурс шектеулі. Дегенмен, AI үлкен жеңістердің құлпын ашады:
-
Бұлттық сапарларсыз нақты уақыттағы шешімдер
-
Дизайн бойынша құпиялылық - өңделмеген деректер құрылғыда қалуы мүмкін.
-
Миллисекундтар маңызды болған кезде кідірісті азайтыңыз
-
Мұқият үлгі + аппараттық құралдарды таңдау арқылы энергияны білетін қорытынды
Бұл артықшылықтар емес: есептеуді шетке итеру желіге тәуелділікті азайтады және көптеген пайдалану жағдайлары үшін құпиялылықты күшейтеді [1].
Бұл дөрекі күш емес - бұл шектеулі ресурстармен ақылды болу. Марафонды рюкзакпен жүгіру туралы ойланыңыз ... және инженерлер кірпіштерді тастай береді.
Енгізілген жүйелерге арналған AI жылдам салыстыру кестесі 📝
| Құрал / Framework | Идеалды аудитория | Бағасы (шамамен) | Неліктен бұл жұмыс істейді (қызықты жазбалар) |
|---|---|---|---|
| TensorFlow Lite | Әзірлеушілер, әуесқойлар | Тегін | Үздіксіз, портативті, керемет MCU → мобильді қамту |
| Жиек импульсі | Жаңадан бастаушылар және стартаптар | Фремиум деңгейлері | «AI LEGO» сияқты апарып тастау жұмыс процесі |
| Nvidia Jetson платформасы | Инженерлер күшке мұқтаж | $$$ (арзан емес) | GPU + ауыр көру/жұмыс жүктемелеріне арналған үдеткіштер |
| TinyML (Arduino арқылы) | Тәрбиешілер, прототиптер | Төмен баға | Қолжетімді; қоғам басқаратын ❤️ |
| Qualcomm AI қозғалтқышы | OEM, ұялы телефон өндірушілер | Әртүрлі | Snapdragon-да NPU-жеделдетілген - жасырын жылдам |
| ExecuTorch (PyTorch) | Мобильді және озық әзірлеушілер | Тегін | Телефондар/киілетін/енгізілген құрылғылар үшін құрылғыдағы PyTorch жұмыс уақыты [5] |
(Иә, біркелкі емес. Шындық та солай.)
Неліктен ендірілген құрылғылардағы AI өнеркәсіп үшін маңызды 🏭
Жай ғана хайп емес: зауыттық желілерде ықшам модельдер ақауларды ұстайды; ауыл шаруашылығында аз қуатты түйіндер далада топырақты талдайды; көліктерде қауіпсіздік функциялары тежеу алдында «үйге телефон соғу» мүмкін емес. Кідіріс пен құпиялылық келісілмейтін болса , есептеуді шетке жылжыту стратегиялық тұтқа болып табылады [1].
TinyML: ендірілген AI-ның үнсіз кейіпкері 🐜
TinyML микроконтроллерлерде килобайттан бірнеше мегабайтқа дейін жедел жады бар модельдерді іске қосады, бірақ әлі де кілт сөздерді анықтау, қимылдарды тану, аномалияларды анықтау және т.б. жұмыс істейді. Тышқанның кірпіш көтергенін көргендей. Біртүрлі қанағаттанарлық.
Жылдам психикалық модель:
-
Деректер іздері : шағын, ағынды сенсорлық кірістер.
-
Модельдер : ықшам CNN/RNN, классикалық ML немесе шашыранды/квантталған желілер.
-
Бюджеттер : ватт емес, милливатт; ГБ емес, КБ–МБ.
Аппараттық құралдарды таңдау: құны мен өнімділігі ⚔️
Аппараттық құралдарды таңдау көптеген жобалардың ауытқуы болып табылады:
-
Raspberry Pi класы : мейірімді, жалпы мақсаттағы процессор; прототиптер үшін қатты.
-
NVIDIA Jetson ондаған және жүздеген TOPS жеткізетін арнайы жасалған шеткі AI модульдері (мысалы, Orin) - тамаша, бірақ қымбатырақ және қуаттырақ [4].
-
Google Coral (Edge TPU) шамамен 2 Вт (~2 TOPS/Вт) деңгейінде ~4 TOPS жеткізетін ASIC үдеткіші – сіздің модель шектеулерге сәйкес келгенде керемет перф/Вт [3].
-
Смартфон SoCs (Snapdragon) : модельдерді құрылғыда тиімді іске қосу үшін NPU және SDK бірге жеткізіледі.
Негізгі ереже: баланс құны, жылу және есептеу. «Жақсы, барлық жерде» жиі «ең озық, еш жерде» дегенді ұрады.
Енгізілген жүйелерге арналған AI-дағы жалпы қиындықтар 🤯
Инженерлер үнемі келесілермен күреседі:
-
Тығыз жад : кішкентай құрылғылар алып үлгілерді қабылдай алмайды.
-
Батарея бюджеттері : әрбір миллиампер маңызды.
-
Модельді оңтайландыру:
-
Кванттау → кішірек, жылдамырақ int8/float16 салмақтары/белсендіру.
-
Кесу → сиректік үшін елеусіз салмақтарды алып тастаңыз.
-
Кластерлеу/салмақ бөлісу → әрі қарай қысу.
Бұл құрылғыдағы тиімділіктің стандартты әдістері [2].
-
-
Масштабтау : сыныптық Arduino демо ≠ қауіпсіздік, қауіпсіздік және өмірлік цикл шектеулері бар автомобиль өндірісі жүйесі.
Түзету керек пе? Кілт тесігінен кітап оқып жатқан сурет... қолғап киген.
Жақында сіз көбірек көретін практикалық қолданбалар 🚀
-
Ақылды киетін құрылғылар құрылғыдағы денсаулық статистикасын жасайды.
-
IoT камералары шикі кадрларды ағынсыз оқиғаларды белгілейді.
-
Хэндсфри басқаруға арналған офлайн дауыстық көмекшілер
-
Тексеру, жеткізу және дәлдік үшін автономды дрондар
Қысқасы: AI сөзбе-сөз жақындап келеді - біздің білегімізге, ас үйімізге және біздің инфрақұрылымымызға.
Әзірлеушілер қалай бастай алады 🛠️
-
Кең құралдар мен MCU→мобильді қамту үшін TensorFlow Lite қолданбасынан бастаңыз кванттау/кесуді ерте қолдану [2].
-
Егер сіз PyTorch жерінде тұрсаңыз және мобильді және ендірілген [5] құрылғыларында қарапайым жұмыс уақыты қажет болса, ExecuTorch-ты зерттеңіз
-
Жылдам, тамаша прототиптеу үшін Arduino + TinyML жинақтарын қолданып көріңіз
-
Көрнекі құбырларды қалайсыз ба? Edge Impulse деректерді алу, оқыту және орналастыру арқылы кедергіні төмендетеді.
-
Аппараттық құралды бірінші дәрежелі азамат ретінде қарастырыңыз - процессорлардағы прототип, содан кейін кідіріс, термиялық және дәлдік дельталарын растау үшін мақсатты үдеткіште (Edge TPU, Jetson, NPU) растаңыз.
Мини-виньетка: команда тиын ұяшықты сенсордағы діріл-аномалия детекторын жібереді. float32 моделі қуат бюджетін жіберіп алмайды; int8 кванттауы бір қорытынды үшін энергияны азайтады, кесу жадты қысқартады және MCU жұмыс циклі жұмысты аяқтайды - желі қажет емес [2,3].
Енгізілген жүйелерге арналған AI-ның тыныш революциясы 🌍
сезінуді → ойлауды → әрекет етуді үйренеді . Батареяның қызмет ету мерзімі әрқашан бізді қуантады, бірақ траектория анық: тығыз модельдер, жақсы құрастырушылар, ақылды үдеткіштер. Нәтиже? Ол жай ғана байланыстырылған емес, ол назар аударатындықтан, өзін жеке және жауапты сезінетін технология.
Анықтамалар
[1] ETSI (Multi-access Edge Computing) - Кешіктіру/құпиялылық артықшылықтары және салалық контекст.
ETSI MEC: Жаңа ақ қағазға шолу
[2] Google TensorFlow моделін оңтайландыру құралдары жинағы - құрылғыдағы тиімділік үшін кванттау, кесу, кластерлеу.
TensorFlow моделін оңтайландыру нұсқаулығы
[3] Google Coral Edge TPU - жиекті жеделдету үшін Perf/W көрсеткіштері.
Edge TPU эталондары
[4] NVIDIA Jetson Orin (ресми) - Edge AI модульдері және өнімділік конверттері.
Jetson Orin модульдеріне шолу
[5] PyTorch ExecuTorch (Ресми құжаттар) - ұялы телефонға және шетке арналған құрылғыдағы PyTorch жұмыс уақыты.
ExecuTorch шолуы