AI деректер жинағы дегеніміз не?

Егер сіз AI жүйелерін құрып, сатып алсаңыз немесе тіпті жай ғана бағаласаңыз, сіз бір алдамшы қарапайым сұраққа тап боласыз және AI деректер жинағы дегеніміз не және ол неге соншалықты маңызды? Қысқа нұсқа: бұл сіздің үлгіңіз үшін отын, аспаздық кітап және кейде компас.

Осыдан кейін оқуға болатын мақалалар:

🔗 AI трендтерді қалай болжайды
AI болашақ оқиғалар мен мінез-құлықты болжау үшін үлгілерді қалай талдайтынын зерттейді.

🔗 AI өнімділігін қалай өлшеуге болады
Дәлдік, тиімділік және үлгі сенімділігін бағалауға арналған көрсеткіштер мен әдістер.

🔗 AI-мен қалай сөйлесуге болады
Жасанды интеллект жауаптарын жақсарту үшін өзара әрекеттесуді жақсарту бойынша нұсқаулық.

🔗 AI не шақырады
Сұраулар AI шығыстарын және жалпы байланыс сапасын қалай қалыптастыратынына шолу.

AI деректер жинағы дегеніміз не? Жылдам анықтама 🧩

Жасанды интеллект деректер жиынтығы дегеніміз не? Бұл сіздің моделіңіз үйренетін немесе бағаланатын мысалдар жиынтығы . Әрбір мысалда:

Енгізулер - мәтін үзінділері, кескіндер, аудио, кестелік жолдар, сенсор көрсеткіштері, графиктер сияқты модель көретін мүмкіндіктер.
Мақсаттар - санаттар, сандар, мәтін ауқымдары, әрекеттер немесе кейде мүлде ештеңе сияқты модель болжауы керек белгілер немесе нәтижелер.
Метадеректер – дереккөз, жинау әдісі, уақыт белгілері, лицензиялар, келісім ақпараты және сапа туралы ескертпелер сияқты контекст.

Оны үлгіңіз үшін мұқият оралған түскі ас қорабы сияқты елестетіп көріңіз: ингредиенттер, жапсырмалар, тамақтану фактілері және иә, «бұл бөлікті жеуге болмайды» деген жабысқақ қағаз. 🍱

Бақыланатын тапсырмалар үшін сіз анық белгілермен жұптастырылған кірістерді көресіз. Бақыланбайтын тапсырмалар үшін сіз белгілерсіз кірістерді көресіз. Оқытуды күшейту үшін деректер көбінесе күйлері, әрекеттері, марапаттары бар эпизодтар немесе траекториялар сияқты көрінеді. Мультимодальдық жұмыс үшін мысалдар мәтін + сурет + дыбысты бір жазбаға біріктіре алады. Керемет естіледі; негізінен сантехника болып табылады.

Пайдалы нұсқаулықтар мен тәжірибелер: Деректер жиынтықтарына арналған деректер парақтары идеясы командаларға ішінде не бар екенін және оны қалай пайдалану керектігін түсіндіруге көмектеседі [1], ал Модель карталары модель жағындағы деректер құжаттамасын толықтырады [2].

Жақсы AI деректер жиынтығын не жасайды ✅

Шынын айтайық, көптеген модельдер сәтті болды, өйткені деректер жиынтығы қорқынышты емес. «Жақсы» деректер жинағы:

Тек зертханалық жағдайлар емес, нақты пайдалану жағдайларының өкілі .
Нақты нұсқаулармен және мерзімді шешімдерімен дәл белгіленген . Келісім көрсеткіштері (мысалы, каппа стиліндегі өлшемдер) дұрыстығын тексеруге көмектеседі.
Ұзын құйрықтарда үнсіз сәтсіздікке жол бермеу үшін жеткілікті толық және теңгерімді . Теңгерімсіздік қалыпты жағдай; немқұрайлылық ондай емес
Келісіммен, лицензиямен және рұқсаттармен құжатталған шығу тегі анық . Жалықтыратын іс қағаздары қызықты сот процестеріне жол бермейді.
Мақсатты пайдалануды, шектеулерді және белгілі сәтсіздік режимдерін сипаттайтын деректер карталары немесе деректер кестелері арқылы жақсы құжатталған [1]
басқарылады . Егер сіз деректер жиынтығын қайта жасай алмасаңыз, модельді де қайта жасай алмайсыз. NIST-тің жасанды интеллект тәуекелдерін басқару құрылымынан деректер сапасы мен құжаттамасын бірінші дәрежелі мәселелер ретінде қарастырады [3].

Жасап жатқан әрекетіңіз бойынша AI деректер жиынының түрлері 🧰

Тапсырма бойынша

Жіктеу - мысалы, спам және спам емес, сурет санаттары.
Регрессия - баға немесе температура сияқты үздіксіз мәнді болжау.
Тізбекті таңбалау – аталған тұлғалар, сөз бөліктері.
Генерация – жинақтау, аудару, суретке жазу.
Ұсыныс – пайдаланушы, элемент, өзара әрекеттесу, контекст.
Аномалияны анықтау – уақыттық қатарлардағы немесе журналдардағы сирек оқиғалар.
Оқытуды күшейту – күй, әрекет, марапаттау, келесі күй тізбегі.
Іздеу - құжаттар, сұраулар, сәйкестік туралы пайымдаулар.

Модальдылық бойынша

Кесте - жас, табыс, айналым сияқты бағандар. Төмен бағаланбаған, өте тиімді.
Мәтін - құжаттар, чаттар, код, форум жазбалары, өнім сипаттамалары.
Суреттер - фотосуреттер, медициналық сканерлеу, спутниктік плиткалар; маскасы бар немесе онсыз, қораптар, негізгі нүктелер.
Аудио - толқын пішіндері, транскрипттер, динамик тегтері.
Бейне – кадрлар, уақытша аннотациялар, әрекет белгілері.
Графиктер – түйіндер, жиектер, атрибуттар.
Уақыт қатары – датчиктер, қаржы, телеметрия.

Бақылау арқылы

Белгіленген (алтын, күміс, автотаңбаланған), әлсіз таңбаланған, таңбаланбаған, синтетикалық. Дүкенде сатып алынған торт қоспасы жақсы болуы мүмкін - егер сіз қорапты оқысаңыз.

Қораптың ішінде: құрылым, бөліктер және метадеректер 📦

Күшті деректер жиынтығы әдетте мыналарды қамтиды:

Схема – терілген өрістер, бірліктер, рұқсат етілген мәндер, нөлдік өңдеу.
Бөлулер – поезд, валидация, сынақ. Сынақ деректерін жабық күйде сақтаңыз - оны шоколадтың соңғы бөлігі сияқты ұстаңыз.
Іріктеу жоспары – популяциядан қалай мысалдар келтірдіңіз; бір аймақтан немесе құрылғыдан қолайлы үлгілерден аулақ болыңыз.
Күшейтулер - бұрмалау, егін, шу, парафраза, маска. Адал болғанда жақсы; олар жабайы табиғатта ешқашан болмайтын үлгілерді ойлап тапқан кезде зиянды.
Нұсқалау - v0.1, v0.2 деректер жиынтығы… дельталарды сипаттайтын өзгерістер журналдарымен.
Лицензиялар және келісім - пайдалану құқығы, қайта бөлу және жою ағындары. Ұлттық деректерді қорғау реттеушілері (мысалы, Ұлыбританияның ICO) практикалық, заңды өңдеуге арналған бақылау парақтарын ұсынады [4].

Деректер жиынының өмірлік циклі, қадам бойынша 🔁

Шешімді анықтаңыз - модель не шешеді және ол қате болған жағдайда не болады.
Қолдану аймағының ерекшеліктері мен белгілері - өлшенетін, бақыланатын, жинауға этикалық.
Бастапқы деректер – құралдар, журналдар, сауалнамалар, қоғамдық бірлестіктер, серіктестер.
Келісім және заңдылық - құпиялылық туралы ескертулер, бас тарту, деректерді азайту. «Неліктен» және «қалай» туралы реттеуші нұсқаулықты қараңыз [4].
Жинау және сақтау - қауіпсіз сақтау, рөлге негізделген қол жеткізу, PII өңдеу.
Label – ішкі аннотаторлар, краудсорсинг, сарапшылар; алтын тапсырмалары, аудиттер және келісім көрсеткіштері арқылы сапаны басқарыңыз.
Тазалау және қалыпқа келтіру - жою, жетіспеушіліктерді өңдеу, бірліктерді стандарттау, кодтауды түзету. Жалықтырмас, ерлік еңбек.
Бөлу және тексеру - ағып кетуді болдырмау; қажет болған жағдайда стратификациялау; уақытша деректер үшін уақытты ескеретін бөлуге артықшылық беру; және сенімді бағалаулар үшін кросс-валидацияны мұқият пайдаланыңыз [5].
Құжат – деректер парағы немесе деректер картасы; мақсатты пайдалану, ескертулер, шектеулер [1].
Бақылау және жаңарту - дрейфті анықтау, жаңарту ырғағы, күннің батуы жоспарлары. NIST жасанды интеллект RMF осы үздіксіз басқару циклін қалыптастырады [3].

Жылдам, нақты әлемге арналған кеңес: командалар жиі «демонстрацияны жеңіп алады», бірақ өндірісте сүрініп қалады, өйткені олардың деректер жинағы жаңа өнім желілерін, атауы өзгертілген өрісті немесе өзгертілген саясатты тыныштандырады. Қарапайым өзгертулер журналы + мерзімді қайта аннотация өтуі бұл ауырсынудың көп бөлігін болдырмайды.

Деректердің сапасы мен бағалауы - бұл көрінгендей көңілсіз емес 🧪

Сапа көп өлшемді:

Дәлдік - белгілер дұрыс па? Келісім көрсеткіштерін және мерзімді шешімдерді пайдаланыңыз.
Толықтық - сізге шынымен қажет өрістер мен сыныптарды қамтиды.
Жүйелілік - ұқсас кірістер үшін қайшы белгілерден аулақ болыңыз.
Уақыттылық - ескірген деректер болжамдарды тастайды.
Әділдік және бейтараптық - демографиялық көрсеткіштерді, тілдерді, құрылғыларды, орталарды қамту; сипаттамалық аудиттерден бастаңыз, содан кейін стресс-тесттер. Құжаттамаға негізделген тәжірибелер (деректер кестелері, үлгі карталары) бұл тексерулерді көрінетін етеді [1], ал басқару құрылымдары оларды тәуекелдерді бақылау ретінде атап көрсетеді [3].

Үлгіні бағалау үшін дұрыс бөлулерді және орташа көрсеткіштерді де, ең нашар топ көрсеткіштерін де қадағалаңыз. Жылтыр орташа кратерді жасыра алады. Кросс-валидация негіздері стандартты ML құралдар құжаттарында жақсы қамтылған [5].

Этика, құпиялылық және лицензиялау - қоршаулар 🛡️

Этикалық деректер діріл емес, бұл процесс:

Келісім және мақсатты шектеу - пайдалану және заңды негіздер туралы нақты болыңыз [4].
PII өңдеу – сәйкесінше кішірейту, псевдонимдеу немесе анонимдеу; тәуекелдер жоғары болған кезде құпиялылықты жақсартатын технологияны қарастырыңыз.
Атрибуция және лицензиялар - ортақ пайдалану және коммерциялық пайдалану шектеулерін сақтаңыз.
Жалған корреляцияларды тексеру («күндізгі жарық = қауіпсіз» түнде өте шатастырады).
Түзету - сұрау бойынша деректерді қалай жою керектігін және онда оқытылған үлгілерді қалай кері қайтару керектігін біліңіз (бұны деректер парағында құжаттаңыз) [1].

Үлкен қаншалықты үлкен? Өлшем және сигналдан шуылға 📏

Басты ереже: көбірек мысалдар, егер олар өзекті болса және қайталанбайтын болса, көмектеседі. Бірақ кейде таудай ретсіз үлгілерге қарағанда, аз, таза, жақсы белгіленген үлгілермен жұмыс істеген дұрыс

Мынаны қараңыз:

Оқу қисықтары - деректерге немесе модельге байланысты екеніңізді көру үшін графиктің өнімділігін үлгі өлшемімен салыстыру.
Ұзын құйрықты қамту - сирек, бірақ сыни сыныптар көбінесе жаппай емес, мақсатты жинақты қажет етеді.
Жапсырма шуы - өлшеңіз, содан кейін азайтыңыз; аздап шыдауға болады, толқынға шыдамайды.
Тарату ауысымы – бір аймақтан немесе арнадан алынған оқу деректері басқасына жалпыланбауы мүмкін; мақсатқа ұқсас сынақ деректерінде растау [5].

Күмәндансаңыз, шағын ұшқыштарды басқарыңыз және кеңейтіңіз. Бұл дәмдеуіш сияқты - қосу, дәмдеу, реттеу, қайталау.

Деректер жиынын қайдан табуға және басқаруға болады 🗂️

Танымал ресурстар мен құралдар (дәл қазір URL мекенжайларын есте сақтаудың қажеті жоқ):

Hugging Face Datasets - бағдарламалық жүктеу, өңдеу, ортақ пайдалану.
Google Dataset Search – интернетте мета-іздеу.
UCI ML репозиторийі – негізгі және оқытуға арналған кураторлық классика.
OpenML - тапсырмалар + деректер жиыны + шығу тегі бар жұмыс.
AWS Open Data / Google Cloud Public Datasets – орналастырылған, ауқымды корпус.

Кәсіби кеңес: тек жүктеп қана қоймаңыз. Лицензияны және деректер парағын оқып шығыңыз, содан кейін өз көшірмеңізді нұсқа нөмірлерімен және шығу тегімен құжаттаңыз [1].

Белгілеу және аннотация - ақиқат келісілетін жерде ✍️

Аннотация - сіздің теориялық жапсырма нұсқаулығыңыз шындықпен күресетін жер:

Тапсырманы құрастыру – мысалдармен және қарсы мысалдармен нақты нұсқаулар жазыңыз.
Аннотаторлық тренинг – алтын жауаптары бар тұқым, калибрлеу раундтарын өткізу.
Сапаны бақылау – келісім өлшемдерін, консенсус механизмдерін және мерзімді аудиттерді пайдаланыңыз.
Құралдар - схеманы тексеруді және қарау кезектерін қамтамасыз ететін құралдарды таңдау; тіпті электрондық кестелер ережелермен және чектермен жұмыс істей алады.
Кері байланыс циклдері - нұсқаулықты нақтылау үшін аннотатор жазбаларын және үлгі қателерін түсіріңіз.

Үтір туралы келіспеген үш досыңызбен сөздікті өңдегіңіз келсе... бұл қалыпты жағдай. 🙃

Деректер құжаттамасы – жасырын білімді анық ету 📒

Жеңіл деректер парағы немесе деректер картасы мыналарды қамтуы керек:

Оны кім, қалай және не үшін жинады.
Тағайындалған пайдалану және қолдану аясынан тыс қолдану.
Белгілі олқылықтар, ауытқулар және сәтсіздік режимдері.
Белгілеу протоколы, QA қадамдары және келісім статистикасы.
Лицензия, келісім, мәселелер бойынша байланыс, жою процесі.

Үлгілер мен мысалдар: Деректер жиындары мен үлгі карталарына арналған деректер кестелері кеңінен қолданылатын бастапқы нүктелер [1].

Оны құрастырғаннан кейін емес, жасап жатқанда жазыңыз. Жад – қабыршақты сақтау ортасы.

Салыстыру кестесі – AI деректер жиынын табуға немесе орналастыруға арналған орындар 📊

Иә, бұл біраз пікір. Ал тұжырымы әдейі сәл біркелкі емес. Жақсы.

Құрал / Репо	Аудитория	Бағасы	Неліктен бұл іс жүзінде жұмыс істейді
Құшақтап тұрған бет деректер жинағы	Зерттеушілер, инженерлер	Еркін деңгей	Жылдам жүктеу, ағындық, қауымдастық сценарийлері; тамаша құжаттар; нұсқаланған деректер жиыны
Google деректер жиынын іздеу	Барлығы	Тегін	Кең бетінің ауданы; ашу үшін тамаша; кейде сәйкес келмейтін метадеректер
UCI ML репозиторийі	Оқушылар, тәрбиешілер	Тегін	Классикалық шығармалар; кішкентай, бірақ ұқыпты; негізгі және оқыту үшін жақсы
OpenML	Репрозерттеушілер	Тегін	Тапсырмалар + деректер жиыны + бірге орындалады; жақсы шығу жолдары
AWS ашық деректер тізілімі	Деректер инженерлері	Көбінесе тегін	Петабайт масштабты хостинг; бұлтқа қол жеткізу; шығу шығындарын бақылау
Kaggle деректер жиыны	Тәжірибешілер	Тегін	Жеңіл бөлісу, сценарийлер, жарыстар; қауымдастық сигналдары шуды сүзуге көмектеседі
Google Cloud жалпы деректер жиыны	Сарапшылар, командалар	Тегін + бұлт	Есептеу жанында орналастырылған; BigQuery интеграциясы; есепшотқа мұқият болыңыз
Академиялық порталдар, зертханалар	Ниш мамандары	Әртүрлі	Жоғары мамандандырылған; кейде құжатталмаған - әлі де аң аулауға тұрарлық

(Егер ұяшық әңгімешіл болып көрінсе, бұл әдейі.)

Біріншісін жасау - практикалық бастапқы жинақ 🛠️

Сіз «AI деректер жинағы дегеніміз не» дегеннен «Мен жасадым, ол жұмыс істейді» дегенге ауысқыңыз келеді. Бұл минималды жолды қолданып көріңіз:

Шешім мен метриканы жазыңыз - мысалы, дұрыс топты болжау арқылы кіріс қолдауының қате бағыттарын азайтыңыз. Көрсеткіш: макро-F1.
5 оң және 5 теріс мысал келтіріңіз - нақты билеттердің үлгісін жасаңыз; ойдан шығармаңыз.
Жапсырма нұсқаулығының жобасы – бір бет; айқын қосу/шығару ережелері.
Шағын, нақты үлгіні жинаңыз - санаттар бойынша бірнеше жүз билет; қажет емес PII-ді алып тастаңыз.
Ағып кетуді тексеру арқылы бөлу - бір тұтынушыдан келген барлық хабарларды бір бөлікте сақтаңыз; дисперсияны бағалау үшін кросс-валидацияны қолданыңыз [5].
QA бар аннотация - ішкі жиындағы екі аннотатор; келіспеушіліктерді шешу; нұсқаулықты жаңартыңыз.
Қарапайым базаны - алдымен логистиканы оқытыңыз (мысалы, сызықтық модельдер немесе ықшам трансформаторлар). Мәселе медаль алу емес, деректерді сынау.
Қателерді қарап шығу – ол қай жерде және неге істен шығады; үлгіні ғана емес, деректер жинағын жаңартыңыз.
Құжат – шағын деректер парағы: дереккөз, жапсырма нұсқаулығы сілтемесі, бөлулер, белгілі шектеулер, лицензия [1].
Жоспарды жаңарту - жаңа санаттар, жаңа сленг, жаңа домендер келеді; шағын, жиі жаңартуларды жоспарлау [3].

Сіз мың қызық түсірілімнен гөрі осы циклден көбірек үйренесіз. Сондай-ақ сақтық көшірмелерді сақтаңыз. өтінемін

Командалардағы жиі кездесетін қателіктер 🪤

Деректердің ағып кетуі - жауап мүмкіндіктерге ауысады (мысалы, нәтижелерді болжау үшін шешімнен кейінгі өрістерді пайдалану). Алдайтын сияқты, өйткені солай.
Таяз әртүрлілік - бір география немесе құрылғы жаһандық болып көрінеді. Тесттер сюжетті бұрылысты ашады.
Белгі ауытқуы - критерийлер уақыт өте келе өзгереді, бірақ белгі нұсқаулығы өзгермейді. Онтологияңызды құжаттап, нұсқасын жасаңыз.
Мақсаттар нақтыланбаған - егер сіз нашар болжамды анықтай алмасаңыз, деректеріңіз де анықталмайды.
Қате лицензиялар - қазір қырып тастау, кейін кешірім сұрау стратегия емес.
Шамадан тыс көбейту – аспазшыны пластикалық жемістерге үйрету сияқты шынайы емес артефактілерді үйрететін синтетикалық деректер.

Фразаның өзі туралы жылдам жиі қойылатын сұрақтар ❓

«Жасанды интеллект деректер жиынтығы дегеніміз не?» тек анықтама ма? Негізінен, бірақ бұл сонымен қатар модельдерді сенімді ететін жалықтыратын бөліктерге мән беретініңіздің белгісі.
Маған әрқашан белгілер керек пе? Жоқ. Бақыланбайтын, өзін-өзі қадағалайтын және RL параметрлері анық белгілерді жиі өткізіп жібереді, бірақ курация әлі де маңызды.
Мен жалпыға ортақ деректерді кез келген нәрсе үшін пайдалана аламын ба? Жоқ. Лицензияларды, платформа шарттарын және құпиялылық міндеттемелерін құрметтеңіз [4].
Үлкенірек немесе жақсырақ? Екеуі де, дұрысы. Таңдау керек болса, алдымен жақсырақ таңдаңыз.

Қорытынды ескертулер - Скриншот жасауға болатын нәрсе 📌

Егер біреу сізден жасанды интеллект деректер жиынтығы деген не деп, айтыңызшы: бұл модельді үйрететін және тексеретін, басқаруға негізделген, адамдар нәтижелерге сене алатын мысалдардың реттелген, құжатталған жиынтығы. Ең жақсы деректер жиынтығы репрезентативті, жақсы белгіленген, заңды түрде таза және үздіксіз күтіп ұсталады. Қалғаны құрылым, бөлінулер және модельдердің трафикке түсуіне жол бермейтін барлық кішкентай қоршаулар туралы маңызды мәліметтер. Кейде процесс электрондық кестелермен бақша жұмыстары сияқты сезіледі; кейде пикселдерді жинау сияқты. Қалай болғанда да, деректерге инвестиция салыңыз, сонда сіздің модельдеріңіз онша оғаш болмайды. 🌱🤖

Сілтемелер

[1] Деректер жиынтығына арналған деректер парақтары - Gebru және т.б., arXiv. Сілтеме
[2] Модельдік есеп беруге арналған модель карталары - Mitchell және т.б., arXiv. Сілтеме
[3] NIST жасанды интеллект тәуекелдерін басқару құрылымы (AI RMF 1.0). Сілтеме
[4] Ұлыбританияның GDPR нұсқаулығы мен ресурстары - Ақпарат комиссары кеңсесі (ICO). Сілтеме
[5] Айқаспалы валидация: бағалаушының өнімділігін бағалау - scikit-learn пайдаланушы нұсқаулығы. Сілтеме

Ресми AI көмекші дүкенінен ең соңғы AI-ді табыңыз

Біз туралы

Блогқа оралу