Егер сіз AI жүйелерін құрып, сатып алсаңыз немесе тіпті жай ғана бағаласаңыз, сіз бір алдамшы қарапайым сұраққа тап боласыз және AI деректер жинағы дегеніміз не және ол неге соншалықты маңызды? Қысқа нұсқа: бұл сіздің үлгіңіз үшін отын, аспаздық кітап және кейде компас.
Осы мақаладан кейін оқығыңыз келетін мақалалар:
🔗 AI трендтерді қалай болжайды
AI болашақ оқиғалар мен мінез-құлықты болжау үшін үлгілерді қалай талдайтынын зерттейді.
🔗 AI өнімділігін қалай өлшеуге болады
Дәлдік, тиімділік және үлгі сенімділігін бағалауға арналған көрсеткіштер мен әдістер.
🔗 AI-мен қалай сөйлесуге болады
Жасанды интеллект жауаптарын жақсарту үшін өзара әрекеттесуді жақсарту бойынша нұсқаулық.
🔗 AI не шақырады
Сұраулар AI шығыстарын және жалпы байланыс сапасын қалай қалыптастыратынына шолу.
AI деректер жинағы дегеніміз не? Жылдам анықтама 🧩
AI деректер жинағы дегеніміз не? Бұл сіздің үлгіңіз үйренетін немесе бағаланатын мысалдар жинағы Әрбір мысал бар:
-
Енгізулер - мәтін үзінділері, кескіндер, аудио, кестелік жолдар, сенсор көрсеткіштері, графиктер сияқты модель көретін мүмкіндіктер.
-
Мақсаттар - санаттар, сандар, мәтін ауқымдары, әрекеттер немесе кейде мүлде ештеңе сияқты модель болжауы керек белгілер немесе нәтижелер.
-
Метадеректер – дереккөз, жинау әдісі, уақыт белгілері, лицензиялар, келісім ақпараты және сапа туралы ескертпелер сияқты контекст.
Оны үлгіңіз үшін мұқият оралған түскі ас қорабы сияқты елестетіп көріңіз: ингредиенттер, жапсырмалар, тамақтану фактілері және иә, «бұл бөлікті жеуге болмайды» деген жабысқақ қағаз. 🍱
Бақыланатын тапсырмалар үшін сіз анық белгілермен жұптастырылған кірістерді көресіз. Бақыланбайтын тапсырмалар үшін сіз белгілерсіз кірістерді көресіз. Оқытуды күшейту үшін деректер көбінесе күйлері, әрекеттері, марапаттары бар эпизодтар немесе траекториялар сияқты көрінеді. Мультимодальдық жұмыс үшін мысалдар мәтін + сурет + дыбысты бір жазбаға біріктіре алады. Керемет естіледі; негізінен сантехника болып табылады.
Пайдалы праймерлер мен тәжірибелер: Деректер жиынына арналған деректер кестелері идеясы командаларға ішінде не бар екенін және оны қалай пайдалану керектігін түсіндіруге көмектеседі [1] және Үлгі карталары модель жағындағы деректер құжаттамасын толықтырады [2].
Жақсы AI деректер жиынтығын не жасайды ✅
Шынын айтайық, көптеген модельдер сәтті болды, өйткені деректер жиынтығы қорқынышты емес. «Жақсы» деректер жинағы:
-
Тек зертханалық жағдайлар емес, нақты пайдалану жағдайларының өкілі
-
Нақты нұсқаулармен және мерзімді шешімдерімен дәл белгіленген Келісім көрсеткіштері (мысалы, каппа стиліндегі өлшемдер) дұрыстығын тексеруге көмектеседі.
-
Ұзын құйрықтарда дыбыссыз сәтсіздікке жол бермеу үшін жеткілікті толық және теңдестірілген Тепе-теңдіктің бұзылуы қалыпты; немқұрайлылық емес.
-
Келісіммен, лицензиямен және рұқсаттармен құжатталған шығу тегі анық Жалықтыратын іс қағаздары қызықты сот процестеріне жол бермейді.
-
Мақсатты пайдалануды, шектеулерді және белгілі сәтсіздік режимдерін сипаттайтын деректер карталары немесе деректер кестелері арқылы жақсы құжатталған
-
Нұсқалармен, өзгертулер журналдарымен және мақұлдаулармен басқарылады Деректер жиынын ойната алмасаңыз, үлгіні қайта жасай алмайсыз. NIST AI тәуекелдерін басқару құрылымының нұсқауы деректер сапасы мен құжаттаманы бірінші дәрежелі мәселелер ретінде қарастырады [3].
Жасап жатқан әрекетіңіз бойынша AI деректер жиынының түрлері 🧰
Тапсырма бойынша
-
Жіктеу - мысалы, спам және спам емес, сурет санаттары.
-
Регрессия - баға немесе температура сияқты үздіксіз мәнді болжау.
-
Тізбекті таңбалау – аталған тұлғалар, сөз бөліктері.
-
Генерация – жинақтау, аудару, суретке жазу.
-
Ұсыныс – пайдаланушы, элемент, өзара әрекеттесу, контекст.
-
Аномалияны анықтау – уақыттық қатарлардағы немесе журналдардағы сирек оқиғалар.
-
Оқытуды күшейту – күй, әрекет, марапаттау, келесі күй тізбегі.
-
Іздеу - құжаттар, сұраулар, сәйкестік туралы пайымдаулар.
Модальдылық бойынша
-
Кесте - жас, табыс, айналым сияқты бағандар. Төмен бағаланбаған, өте тиімді.
-
Мәтін - құжаттар, чаттар, код, форум жазбалары, өнім сипаттамалары.
-
Суреттер - фотосуреттер, медициналық сканерлеу, спутниктік плиткалар; маскасы бар немесе онсыз, қораптар, негізгі нүктелер.
-
Аудио - толқын пішіндері, транскрипттер, динамик тегтері.
-
Бейне – кадрлар, уақытша аннотациялар, әрекет белгілері.
-
Графиктер – түйіндер, жиектер, атрибуттар.
-
Уақыт қатары – датчиктер, қаржы, телеметрия.
Бақылау арқылы
-
Белгіленген (алтын, күміс, автотаңбаланған), әлсіз таңбаланған , таңбаланбаған , синтетикалық . Дүкенде сатып алынған торт қоспасы жақсы болуы мүмкін - егер сіз қорапты оқысаңыз.
Қораптың ішінде: құрылым, бөліктер және метадеректер 📦
Күшті деректер жиынтығы әдетте мыналарды қамтиды:
-
Схема – терілген өрістер, бірліктер, рұқсат етілген мәндер, нөлдік өңдеу.
-
Бөлулер – поезд, валидация, сынақ. Сынақ деректерін жабық күйде сақтаңыз - оны шоколадтың соңғы бөлігі сияқты ұстаңыз.
-
Іріктеу жоспары – популяциядан қалай мысалдар келтірдіңіз; бір аймақтан немесе құрылғыдан қолайлы үлгілерден аулақ болыңыз.
-
Күшейтулер - бұрмалау, егін, шу, парафраза, маска. Адал болғанда жақсы; олар жабайы табиғатта ешқашан болмайтын үлгілерді ойлап тапқан кезде зиянды.
-
Нұсқа жасау - дельталарды сипаттайтын өзгерту журналдары бар v0.1, v0.2... деректер жинағы.
-
Лицензиялар және келісім - пайдалану құқығы, қайта бөлу және жою ағындары. Ұлттық деректерді қорғау реттеушілері (мысалы, Ұлыбританияның ICO) практикалық, заңды өңдеуге арналған бақылау парақтарын ұсынады [4].
Деректер жиынының өмірлік циклі, қадам бойынша 🔁
-
Шешімді анықтаңыз - модель не шешеді және ол дұрыс емес болса не болады.
-
Қолдану аймағының ерекшеліктері мен белгілері - өлшенетін, бақыланатын, жинауға этикалық.
-
Бастапқы деректер – құралдар, журналдар, сауалнамалар, қоғамдық бірлестіктер, серіктестер.
-
Келісім және заңды - құпиялылық туралы ескертулер, бас тарту, деректерді азайту. «Неге» және «қалай» [4] үшін реттеушінің нұсқауларын қараңыз.
-
Жинау және сақтау - қауіпсіз сақтау, рөлге негізделген қол жеткізу, PII өңдеу.
-
Label – ішкі аннотаторлар, краудсорсинг, сарапшылар; алтын тапсырмалары, аудиттер және келісім көрсеткіштері арқылы сапаны басқарыңыз.
-
Тазалау және қалыпқа келтіру - жою, жетіспеушіліктерді өңдеу, бірліктерді стандарттау, кодтауды түзету. Жалықтырмас, ерлік еңбек.
-
Бөлу және тексеру - ағып кетуді болдырмау; қажет болған жағдайда стратификациялау; уақытша деректер үшін уақытты ескеретін бөлуге артықшылық беру; және сенімді бағалаулар үшін кросс-валидацияны мұқият пайдаланыңыз [5].
-
Құжат – деректер парағы немесе деректер картасы; мақсатты пайдалану, ескертулер, шектеулер [1].
-
Монитор және жаңарту - дрейфті анықтау, каденцияны жаңарту, күннің батуы жоспарлары. NIST компаниясының AI RMF осы үздіксіз басқару циклін құрайды [3].
Жылдам, нақты әлемге арналған кеңес: командалар жиі «демонстрацияны жеңіп алады», бірақ өндірісте сүрініп қалады, өйткені олардың деректер жинағы жаңа өнім желілерін, атауы өзгертілген өрісті немесе өзгертілген саясатты тыныштандырады. Қарапайым өзгертулер журналы + мерзімді қайта аннотация өтуі бұл ауырсынудың көп бөлігін болдырмайды.
Деректердің сапасы мен бағалауы - бұл көрінгендей көңілсіз емес 🧪
Сапа көп өлшемді:
-
Дәлдік - белгілер дұрыс па? Келісім көрсеткіштерін және мерзімді шешімдерді пайдаланыңыз.
-
Толықтық - сізге шынымен қажет өрістер мен сыныптарды қамтиды.
-
Жүйелілік - ұқсас кірістер үшін қайшы белгілерден аулақ болыңыз.
-
Уақыттылық - ескірген деректер болжамдарды тастайды.
-
Әділдік және бейтараптық - демография, тілдер, құрылғылар, орталар бойынша қамту; сипаттамалық аудиттен, содан кейін стресс-тесттерден бастаңыз. Құжаттаманың бірінші тәжірибесі (мәліметтер парақтары, үлгі карталары) бұл тексерулерді көрінетін етеді [1], ал басқару құрылымдары оларды тәуекелді бақылау ретінде атап көрсетеді [3].
Үлгіні бағалау үшін дұрыс бөлулерді және орташа көрсеткіштерді де, ең нашар топ көрсеткіштерін де қадағалаңыз. Жылтыр орташа кратерді жасыра алады. Кросс-валидация негіздері стандартты ML құралдар құжаттарында жақсы қамтылған [5].
Этика, құпиялылық және лицензиялау - қоршаулар 🛡️
Этикалық деректер діріл емес, бұл процесс:
-
Келісім мен мақсатты шектеу - пайдалану және заңды негіздер туралы анық болыңыз [4].
-
PII өңдеу – сәйкесінше кішірейту, псевдонимдеу немесе анонимдеу; тәуекелдер жоғары болған кезде құпиялылықты жақсартатын технологияны қарастырыңыз.
-
Атрибуция және лицензиялар - ортақ пайдалану және коммерциялық пайдалану шектеулерін құрметтеңіз.
-
Бағалау және зиян – жалған корреляцияларды тексеру («күндізгі жарық = қауіпсіз» түнде өте шатастырылады).
-
Түзету - сұрау бойынша деректерді қалай жою керектігін және онда оқытылған үлгілерді қалай кері қайтару керектігін біліңіз (бұны деректер парағында құжаттаңыз) [1].
Үлкен қаншалықты үлкен? Өлшем және сигналдан шуылға 📏
Басты ереже: көп мысалдар, әдетте, олар қайталанатын емес, сәйкес болса тау-кен лас үлгілерге қарағанда, азырақ, тазарақ, жақсы таңбаланған жақсырақ
Мынаны қараңыз:
-
Оқыту қисықтары - деректермен немесе үлгімен байланыстырылғаныңызды көру үшін өнімділік пен үлгі өлшемін сызыңыз.
-
Ұзын құйрықты қамту - сирек, бірақ сыни сыныптар көбінесе жаппай емес, мақсатты жинақты қажет етеді.
-
Жапсырма шуы - өлшеңіз, содан кейін азайтыңыз; аздап шыдауға болады, толқынға шыдамайды.
-
Тарату ауысымы – бір аймақтан немесе арнадан алынған оқу деректері басқасына жалпыланбауы мүмкін; мақсатқа ұқсас сынақ деректерінде растау [5].
Күмәндансаңыз, шағын ұшқыштарды басқарыңыз және кеңейтіңіз. Бұл дәмдеуіш сияқты - қосу, дәмдеу, реттеу, қайталау.
Деректер жиынын қайдан табуға және басқаруға болады 🗂️
Танымал ресурстар мен құралдар (дәл қазір URL мекенжайларын есте сақтаудың қажеті жоқ):
-
Hugging Face Datasets - бағдарламалық жүктеу, өңдеу, ортақ пайдалану.
-
Google Dataset Search – интернетте мета-іздеу.
-
UCI ML репозиторийі – негізгі және оқытуға арналған кураторлық классика.
-
OpenML - тапсырмалар + деректер жиыны + шығу тегі бар жұмыс.
-
AWS Open Data / Google Cloud Public Datasets – орналастырылған, ауқымды корпус.
Кеңес: жай ғана жүктеп алмаңыз. Лицензияны және деректер кестесін оқыңыз , содан кейін нұсқа нөмірлері мен шығу тегі [1] арқылы жеке көшірмеңізді құжаттаңыз.
Белгілеу және аннотация - ақиқат келісілетін жерде ✍️
Аннотация - сіздің теориялық жапсырма нұсқаулығыңыз шындықпен күресетін жер:
-
Тапсырманы құрастыру – мысалдармен және қарсы мысалдармен нақты нұсқаулар жазыңыз.
-
Аннотаторлық тренинг – алтын жауаптары бар тұқым, калибрлеу раундтарын өткізу.
-
Сапаны бақылау – келісім өлшемдерін, консенсус механизмдерін және мерзімді аудиттерді пайдаланыңыз.
-
Құралдар - схеманы тексеруді және қарау кезектерін қамтамасыз ететін құралдарды таңдау; тіпті электрондық кестелер ережелермен және чектермен жұмыс істей алады.
-
Кері байланыс циклдері - нұсқаулықты нақтылау үшін аннотатор жазбаларын және үлгі қателерін түсіріңіз.
Үтір туралы келіспеген үш досыңызбен сөздікті өңдегіңіз келсе... бұл қалыпты жағдай. 🙃
Деректер құжаттамасы – жасырын білімді анық ету 📒
Жеңіл деректер парағы немесе деректер картасы мыналарды қамтуы керек:
-
Оны кім, қалай және не үшін жинады.
-
Тағайындалған пайдалану және қолдану аясынан тыс қолдану.
-
Белгілі олқылықтар, ауытқулар және сәтсіздік режимдері.
-
Белгілеу протоколы, QA қадамдары және келісім статистикасы.
-
Лицензия, келісім, мәселелер бойынша байланыс, жою процесі.
Үлгілер мен мысалдар: мен үлгі карталарына арналған деректер кестелері кеңінен қолданылатын бастапқы нүктелер [1].
Оны құрастырғаннан кейін емес, жасап жатқанда жазыңыз. Жад – қабыршақты сақтау ортасы.
Салыстыру кестесі – AI деректер жиынын табуға немесе орналастыруға арналған орындар 📊
Иә, бұл біраз пікір. Ал тұжырымы әдейі сәл біркелкі емес. Жақсы.
| Құрал / Репо | Аудитория | Бағасы | Неліктен бұл іс жүзінде жұмыс істейді |
|---|---|---|---|
| Құшақтап тұрған бет деректер жинағы | Зерттеушілер, инженерлер | Еркін деңгей | Жылдам жүктеу, ағындық, қауымдастық сценарийлері; тамаша құжаттар; нұсқаланған деректер жиыны |
| Google деректер жиынын іздеу | Барлығы | Тегін | Кең бетінің ауданы; ашу үшін тамаша; кейде сәйкес келмейтін метадеректер |
| UCI ML репозиторийі | Оқушылар, тәрбиешілер | Тегін | Классикалық шығармалар; кішкентай, бірақ ұқыпты; негізгі және оқыту үшін жақсы |
| OpenML | Репрозерттеушілер | Тегін | Тапсырмалар + деректер жиыны + бірге орындалады; жақсы шығу жолдары |
| AWS ашық деректер тізілімі | Деректер инженерлері | Көбінесе тегін | Петабайт масштабты хостинг; бұлтқа қол жеткізу; шығу шығындарын бақылау |
| Kaggle деректер жиыны | Тәжірибешілер | Тегін | Жеңіл бөлісу, сценарийлер, жарыстар; қауымдастық сигналдары шуды сүзуге көмектеседі |
| Google Cloud жалпы деректер жиыны | Сарапшылар, командалар | Тегін + бұлт | Есептеу жанында орналастырылған; BigQuery интеграциясы; есепшотқа мұқият болыңыз |
| Академиялық порталдар, зертханалар | Ниш мамандары | Әртүрлі | Жоғары мамандандырылған; кейде құжатталмаған - әлі де аң аулауға тұрарлық |
(Егер ұяшық әңгімешіл болып көрінсе, бұл әдейі.)
Біріншісін жасау - практикалық бастапқы жинақ 🛠️
Сіз «AI деректер жинағы дегеніміз не» дегеннен «Мен жасадым, ол жұмыс істейді» дегенге ауысқыңыз келеді. Бұл минималды жолды қолданып көріңіз:
-
Шешім мен метриканы жазыңыз - мысалы, дұрыс топты болжау арқылы кіріс қолдауының қате бағыттарын азайтыңыз. Көрсеткіш: макро-F1.
-
5 оң және 5 теріс мысалды көрсетіңіз - нақты билеттер үлгісі; ойдан шығарма.
-
Жапсырма нұсқаулығының жобасы – бір бет; айқын қосу/шығару ережелері.
-
Шағын, нақты үлгіні жинаңыз - санаттар бойынша бірнеше жүз билеттер; қажет емес PII файлын алып тастаңыз.
-
Ағып кетуді тексеру арқылы бөлу - бір тұтынушыдан келген барлық хабарларды бір бөлікте сақтаңыз; дисперсияны бағалау үшін кросс-валидацияны қолданыңыз [5].
-
QA бар аннотация - ішкі жиындағы екі аннотатор; келіспеушіліктерді шешу; нұсқаулықты жаңартыңыз.
-
Қарапайым базаны - алдымен логистиканы оқытыңыз (мысалы, сызықтық модельдер немесе ықшам трансформаторлар). Мәселе медаль алу емес, деректерді сынау.
-
Қателерді қарап шығу – ол қай жерде және неге істен шығады; үлгіні ғана емес, деректер жинағын жаңартыңыз.
-
Құжат – шағын деректер парағы: дереккөз, жапсырма нұсқаулығы сілтемесі, бөлулер, белгілі шектеулер, лицензия [1].
-
Жоспарды жаңарту - жаңа санаттар, жаңа сленг, жаңа домендер келеді; шағын, жиі жаңартуларды жоспарлау [3].
Сіз мың қызық түсірілімнен гөрі осы циклден көбірек үйренесіз. Сондай-ақ сақтық көшірмелерді сақтаңыз. өтінемін
Командалардағы жиі кездесетін қателіктер 🪤
-
Деректердің ағып кетуі - жауап мүмкіндіктерге ауысады (мысалы, нәтижелерді болжау үшін шешімнен кейінгі өрістерді пайдалану). Алдайтын сияқты, өйткені солай.
-
Таяз әртүрлілік - бір география немесе құрылғы жаһандық болып көрінеді. Тесттер сюжетті бұрылысты ашады.
-
Белгілердің ауытқуы - критерийлер уақыт өте өзгереді, бірақ жапсырма нұсқаулығы өзгермейді. Онтологияңызды құжаттаңыз және нұсқасын жасаңыз.
-
Белгіленбеген мақсаттар - егер сіз жаман болжамды анықтай алмасаңыз, деректеріңіз де анықталмайды.
-
Қате лицензиялар - қазір қырып тастау, кейін кешірім сұрау стратегия емес.
-
Шамадан тыс көбейту – аспазшыны пластикалық жемістерге үйрету сияқты шынайы емес артефактілерді үйрететін синтетикалық деректер.
Фразаның өзі туралы жылдам жиі қойылатын сұрақтар ❓
-
«AI деректер жинағы дегеніміз не?» жай ғана анықтамалық нәрсе? Көбінесе, бірақ бұл сонымен қатар модельдерді сенімді ететін скучно биттерге қамқорлық көрсететін сигнал.
-
Маған әрқашан белгілер керек пе? Жоқ. Бақыланбайтын, өзін-өзі қадағалайтын және RL параметрлері анық белгілерді жиі өткізіп жібереді, бірақ курация әлі де маңызды.
-
Мен жалпыға ортақ деректерді кез келген нәрсе үшін пайдалана аламын ба? Жоқ. Лицензияларды, платформа шарттарын және құпиялылық міндеттемелерін құрметтеңіз [4].
-
Үлкенірек немесе жақсырақ? Екеуі де, дұрысы. Таңдау керек болса, алдымен жақсырақ таңдаңыз.
Қорытынды ескертулер - Скриншот жасауға болатын нәрсе 📌
Егер біреу сізден AI деректер жинағы деген не деп , айтыңыз: бұл үлгіні үйрететін және сынайтын, адамдар нәтижелерге сенуі үшін басқаруға оралған, құрастырылған, құжатталған мысалдар жинағы. Ең жақсы деректер жинақтары репрезентативті, жақсы таңбаланған, заңды түрде таза және үздіксіз қызмет көрсетеді. Қалғаны - бөлшектер - маңызды бөлшектер - құрылым, бөліктер және модельдердің көлік қозғалысына кедергі келтіретін барлық кішкентай қоршаулар туралы. Кейде процесс электронды кестелермен көгалдандыру сияқты сезіледі; кейде пикселдерді жинау сияқты. Қалай болғанда да, деректерге инвестиция салыңыз және сіздің үлгілеріңіз азырақ оғаш әрекет етеді. 🌱🤖
Анықтамалар
[1] Деректер жиындарына арналған деректер кестелері - Gebru және т.б., arXiv. Сілтеме
[2] Үлгілік есептерге арналған үлгі карталары - Mitchell et al., arXiv. Сілтеме
[3] NIST Artificial Intelligence Risk Management Framework (AI RMF 1.0) . Сілтеме
[4] Ұлыбританияның GDPR нұсқаулары мен ресурстары - Ақпараттық комиссардың кеңсесі (ICO). Сілтеме
[5] Кросс-валидация: бағалаушының өнімділігін бағалау - scikit-learn пайдаланушы нұсқаулығы. Сілтеме