Жасанды интеллект тек көз тартарлық модельдер немесе адамдарды еліктейтін сөйлейтін көмекшілер емес. Мұның бәрінің артында деректер тауы, кейде мұхиты тұр. Шынымды айтсам, сол деректерді сақтау? Міне, осы жерде бәрі әдетте шатасып кетеді. Кескінді тану құбырлары туралы айтып отырсаңыз да, алып тілдік модельдерді оқыту туралы айтып отырсаңыз да, , жасанды интеллектке арналған деректерді сақтау талаптары тез бақылаудан шығып кетуі мүмкін. Неліктен сақтау соншалықты қиын екенін, қандай нұсқалар бар екенін және шығынды, жылдамдықты және масштабты қалай басқаруға болатынын қарастырайық.
Осыдан кейін оқуға болатын мақалалар:
🔗 Деректер ғылымы және жасанды интеллект: инновацияның болашағы
Жасанды интеллект пен деректер ғылымының заманауи инновацияларды қалай дамытатынын зерттеу.
🔗 Жасанды сұйық интеллект: жасанды интеллекттің және орталықсыздандырылған деректердің болашағы
Орталықсыздандырылған жасанды интеллект деректеріне және жаңа инновацияларға шолу.
🔗 Қарастыру керек жасанды интеллект құралдарына арналған деректерді басқару
Жасанды интеллект деректерін сақтауды және тиімділігін арттырудың негізгі стратегиялары.
🔗 Деректер талдаушыларына арналған ең жақсы жасанды интеллект құралдары: Талдау бойынша шешім қабылдауды жақсарту
Деректерді талдау мен шешім қабылдауды жақсартатын ең жақсы жасанды интеллект құралдары.
Сонымен... Жасанды интеллект деректерін сақтаудың қандай пайдасы бар? ✅
Бұл тек «көбірек терабайт» емес. Шынайы жасанды интеллектке ыңғайлы сақтау орны оқу жаттығулары мен қорытынды жұмыс жүктемелері үшін пайдалануға ыңғайлы, сенімді және жеткілікті жылдам
Айта кету керек бірнеше белгілер:
-
Масштабталу : архитектураңызды қайта жазбай, GB-дан PB-ға өту.
-
Өнімділік : Жоғары кідіріс графикалық процессорларды жұмыстан шығарады; олар кедергілерді кешірмейді.
-
Артықшылық : суреттер, репликация, нұсқалау - себебі эксперименттер де, адамдар да үзіледі.
-
Шығындардың тиімділігі : Дұрыс деңгей, дұрыс сәт; әйтпесе, есепшот салық тексеруі сияқты жасырын түрде келіп түседі.
-
Есептеуге жақындық : Сақтау орнын GPU/TPU жанына қойыңыз немесе деректерді жеткізу дросселін көріңіз.
Әйтпесе, бұл Ferrari көлігін шөп шапқыштың отынымен жүргізуге тырысумен бірдей - техникалық тұрғыдан ол қозғалады, бірақ ұзаққа емес.
Салыстыру кестесі: Жасанды интеллект үшін кең таралған сақтау нұсқалары
| Сақтау түрі | Ең жақсы сәйкестік | Бағалы бейсбол алаңы | Неліктен ол жұмыс істейді (немесе жұмыс істемейді) |
|---|---|---|---|
| Бұлттық нысандарды сақтау | Стартаптар және орта бизнес | $$ (айнымалы) | Икемді, берік, деректер көлдері үшін өте қолайлы; шығыс ақысы + сұраныс соққыларынан сақ болыңыз. |
| Жергілікті NAS | IT командалары бар ірі ұйымдар | $$$$ | Болжамды кідіріс, толық бақылау; алдын ала күрделі шығындар + ағымдағы операциялық шығындар. |
| Гибридті бұлт | Сәйкестікке бағытталған күрделі қондырғылар | $$$ | Жергілікті жылдамдықты серпімді бұлтпен біріктіреді; оркестрлеу бас ауруын қосады. |
| Барлық Flash массивтері | Кемшіліктерге құмар зерттеушілер | $$$$$ | Күлкілі түрде жылдам IOPS/өткізу қабілеті; бірақ TCO - бұл әзіл емес. |
| Таратылған файлдық жүйелер | Жасанды интеллект әзірлеушілері / HPC кластерлері | $$–$$$ | Параллель енгізу/шығару ауқымды масштабта (жылтырлық, спектр шкаласы); операциялық жүктеме нақты. |
Неліктен жасанды интеллект деректеріне деген қажеттілік артып келеді 🚀
Жасанды интеллект тек селфи жинаумен шектелмейді. Ол ашкөздік.
-
Оқыту жинақтары : ImageNet-тің ILSVRC-і шамамен 1,2 миллион таңбаланған кескіндерді жинайды, ал доменге тән корпустар одан әлдеқайда асып түседі [1].
-
Нұсқалау : Әрбір түзету - белгілер, бөлулер, толықтырулар - тағы бір «шындықты» тудырады.
-
Ағындық кірістер : тікелей көру, телеметрия, сенсорлық берілістер... бұл тұрақты от шлангі.
-
Құрылымдалмаған форматтар : мәтін, бейне, аудио, журналдар - ұқыпты SQL кестелеріне қарағанда әлдеқайда көлемді.
Бұл – жей алатын барлық тағамды ұсынатын буфет, ал модель әрқашан десертке оралады.
Бұлтты және жергілікті: ешқашан бітпейтін пікірталас 🌩️🏢
Бұлт қызықтыратын сияқты: шексіз дерлік, ғаламдық, жолыңызда төлеңіз. Шот-фактураңызда шығыс шығындары - және кенеттен сіздің «арзан» сақтау шығындарыңыз бәсекелес есептеу шығындарына дейін [2].
Екінші жағынан, On-prem басқаруды және тамаша өнімділікті қамтамасыз етеді, бірақ сіз сонымен қатар жабдыққа, қуатқа, салқындатуға және балаларға арналған сөрелерге ақша төлейсіз.
Көптеген командалар шатасқан ортада орналасады: гибридті жүйелер. Ыстық, сезімтал, жоғары өнімді деректерді графикалық процессорларға жақын ұстаңыз, ал қалғанын бұлттық деңгейлерде мұрағаттаңыз.
Сақтау шығындары жасырын түрде артып келеді 💸
Сыйымдылық – бұл тек беткі қабат. Жасырын шығындар жиналады:
-
Деректердің қозғалысы : аймақаралық көшірмелер, бұлтаралық тасымалдаулар, тіпті пайдаланушының шығуы [2].
-
Артықшылық : 3-2-1 (үш көшірме, екі медиа, бір сайттан тыс) нұсқасын ұстану орынды жейді, бірақ уақытты үнемдейді [3].
-
Қуат және салқындату : Егер бұл сіздің сөреңіз болса, бұл сіздің жылу мәселеңіз.
-
Кідірістің компромисстері : Арзан деңгейлер әдетте мұздықтың қалпына келу жылдамдығын білдіреді.
Қауіпсіздік және сәйкестік: Тыныш келісімдерді бұзушылар 🔒
Ережелер байттардың қай жерде орналасқанын тікелей анықтай алады. Ұлыбританияның GDPR ережелеріне , жеке деректерді Ұлыбританиядан тыс жерлерге көшіру заңды тасымалдау жолдарын (SCC, IDTA немесе жеткіліктілік ережелері) талап етеді. Аударма: сақтау орнының дизайны географияны «білуі» керек [5].
Бірінші күннен бастап пісірудің негізгі ережелері:
-
Шифрлау - демалу және саяхаттау.
-
Ең аз артықшылықты қолжетімділік + аудит іздері.
-
Өзгермейтіндік немесе нысанды құлыптау сияқты қорғаныстарды жойыңыз
Өнімділіктегі кедергілер: Кідіріс – үнсіз өлтіруші ⚡
GPU күтуді ұнатпайды. Егер сақтау орнында кешігулер болса, олар керемет жылытқыштар. NVIDIA GPUDirect Storage процессордың делдалының жұмысын тоқтатады, деректерді тікелей NVMe-ден GPU жадына ауыстырады - дәл осы үлкен партиялы оқытуды қалайды [4].
Жалпы түзетулер:
-
Ыстық жаттығу сынықтарына арналған NVMe толық қуатты.
-
Көп түйінді өткізу қабілетіне арналған параллель файлдық жүйелер (Luster, Spectrum Scale).
-
GPU-лардың бос тұруына жол бермеу үшін sharding + prefetch функциясы бар асинхронды жүктеушілер.
Жасанды интеллект сақтауды басқарудың практикалық қадамдары 🛠️
-
Деңгейлеу : NVMe/SSD дискісіндегі ыстық сынықтар; ескірген жиынтықтарды нысан немесе суық деңгейлерге мұрағаттау.
-
Dedup + delta : Негізгі сызықтарды бір рет сақтаңыз, тек айырмашылықтар мен манифесттерді сақтаңыз.
-
Өмірлік цикл ережелері : Автоматты деңгейлеу және ескі шығыстардың мерзімін аяқтау [2].
-
3-2-1 тұрақтылығы : Әрқашан бірнеше көшірмені әртүрлі медиада сақтаңыз, біреуін бөлек қалдырыңыз [3].
-
Құралдар : Өткізу қабілетін, p95/p99 кідірістерін, сәтсіз оқуларды, жұмыс жүктемесі бойынша шығуды бақылау.
Жылдам (ойдан шығарылған, бірақ әдеттегі) жағдай 📚
Көру тобы бұлттық нысандарды сақтауда шамамен 20 ТБ көлемімен жұмыс істей бастайды. Кейінірек олар тәжірибелер үшін аймақтар бойынша деректер жиынтығын клондай бастайды. Олардың шығындары артады - сақтау орнының өзінен емес, шығыс трафигінен . Олар ыстық бөліктерді GPU кластеріне жақын NVMe-ге ауыстырады, канондық көшірмені нысандарды сақтау орнында сақтайды (өмірлік цикл ережелерімен) және тек қажетті үлгілерді бекітеді. Нәтижесі: GPU-лар көбірек жұмыс істейді, шоттар азаяды және деректер гигиенасы жақсарады.
Конверттің артқы жағындағы сыйымдылықты жоспарлау 🧮
Бағалаудың шамамен формуласы:
Сыйымдылық ≈ (Шикі деректер жиынтығы) × (Репликация коэффициенті) + (Алдын ала өңделген / кеңейтілген деректер) + (Тексеру нүктелері + Журналдар) + (Қауіпсіздік маржасы ~15–30%)
Содан кейін оны өткізу қабілетіне сәйкес тексеріңіз. Егер әрбір түйінге арналған жүктеушілерге ~2–4 ГБ/с тұрақты жылдамдық қажет болса, сіз NVMe немесе параллель FS-ті ыстық жолдар үшін қарастырып жатырсыз, ал нысанды сақтау негізгі шындық ретінде қарастырылады.
Бұл тек ғарыш туралы емес 📊
жасанды интеллект сақтау талаптары туралы айтқан кезде , олар терабайт немесе петабайтты елестетеді. Бірақ нағыз айла-шарғы тепе-теңдікте: құны мен өнімділігі, икемділігі мен сәйкестігі, инновациясы мен тұрақтылығы. Жасанды интеллект деректері жақын арада қысқармайды. Сақтауды модельдік дизайнға ерте енгізетін топтар деректер батпағына батудан аулақ болады - және олар тезірек жаттығады.
Сілтемелер
[1] Руссаковский және т.б. ImageNet Large Scale Visual Recognition Challenge (IJCV) — деректер жиынтығының масштабы және қиындығы. Сілтеме
[2] AWS — Amazon S3 Бағасы және шығындары (деректерді беру, шығу, өмірлік цикл деңгейлері). Сілтеме
[3] CISA — 3-2-1 резервтік көшірме ережесі бойынша кеңес. Сілтеме
[4] NVIDIA Docs — GPUDirect Storage шолуы. Сілтеме
[5] ICO — Халықаралық деректерді беру бойынша Ұлыбританияның GDPR ережелері. Сілтеме