Қысқа жауап: ЖС детекторлары кімнің бірдеңе жазғанын «дәлелдемейді»; олар үзіндінің таныс тілдік модель үлгілеріне қаншалықты сәйкес келетінін бағалайды. Көпшілігі жіктеуіштердің, болжамдылық сигналдарының (шатасу/жарылыс), стилометрияның және сирек жағдайларда су белгісін тексерудің қоспасына сүйенеді. Үлгі қысқа, өте ресми, техникалық немесе ESL авторы жазған кезде, баллды үкім емес, қайта қарау үшін белгі ретінде қарастырыңыз.
Негізгі қорытындылар:
Ықтималдық, дәлел емес: Пайыздарды сенімділік емес, «Жасанды интеллектке ұқсас» қауіп сигналдары ретінде қарастырыңыз.
Жалған оң нәтижелер: Ресми, техникалық, шаблондық немесе жергілікті емес жазу жиі қате белгіленеді.
Әдістердің үйлесімі: Құралдар жіктеуіштерді, шатасуды/жарылысты, стилометрияны және сирек кездесетін су таңбасын тексеруді біріктіреді.
Мөлдірлік: Тек бір ғана сан емес, беткі қабаты, ерекшеліктері және белгісіздігі бар детекторларды артық көреді.
Даулылық: Даулар мен апелляциялар үшін жобаларды/жазбаларды сақтаңыз және дәлелдемелерді өңдеңіз.
Осыдан кейін оқуға болатын мақалалар:
🔗 Ең жақсы жасанды интеллект детекторы қандай?
Дәлдігі, мүмкіндіктері және пайдалану жағдайлары бойынша салыстырылған ең жақсы жасанды интеллект анықтау құралдары.
🔗 Жасанды интеллект детекторлары сенімді ме?
Сенімділікті, жалған оң нәтижелерді және нәтижелердің неліктен жиі өзгеретінін түсіндіреді.
🔗 Turnitin жасанды интеллектті анықтай ала ма?
Turnitin AI анықтау, шектеулер және ең жақсы тәжірибелер бойынша толық нұсқаулық.
🔗 QuillBot жасанды интеллект детекторы дәл ме?
Дәлдіктің, күшті және әлсіз жақтардың және нақты әлемдегі сынақтардың егжей-тегжейлі шолуы.
1) Жылдам идея - жасанды интеллект детекторы шын мәнінде не істейді ⚙️
Көптеген жасанды интеллект детекторлары балық аулайтын тор сияқты жасанды интеллектті «ұстамайды». Олар қарапайым нәрсе жасайды:
-
Олар мәтіннің бір бөлігінің тілдік модельден алынған (немесе оның көмегімен жасалған) сияқты көріну ықтималдығын бағалайды . ( LLM арқылы жасалған мәтінді анықтау бойынша сауалнама ; OpenAI )
-
Олар сіздің мәтініңізді оқыту деректерінде байқалған үлгілермен (адам жазуы және модель арқылы жасалған жазу) салыстырады. ( LLM арқылы жасалған мәтінді анықтау бойынша сауалнама )
-
Олар нақты болып көрінетін, бірақ әдетте ондай емес ұпай (көбінесе пайыз) шығарады . ( Turnitin Guides )
Шынын айтсақ, пайдаланушы интерфейсі «92% жасанды интеллект» сияқты нәрсе айтады, сонда миыңыз «бұл факт деп ойлаймын» деп ойлайды. Бұл факт емес. Бұл модельдің басқа модельдің саусақ іздері туралы болжамы. Бұл аздап күлкілі, иттердің иттерді иіскегені сияқты 🐕🐕
2) Жасанды интеллект детекторлары қалай жұмыс істейді: ең көп таралған «анықтау қозғалтқыштары» 🔍
Детекторлар әдетте келесі тәсілдердің бірін (немесе қоспасын) пайдаланады: (LLM арқылы жасалған мәтінді анықтау бойынша шолу)
A) Классификатор модельдері (ең көп таралған)
Классификатор белгіленген мысалдар бойынша оқытылады:
-
Адам жазған үлгілер
-
Жасанды интеллект арқылы жасалған үлгілер
-
Кейде «гибридті» үлгілер (адам өңдеген жасанды интеллект мәтіні)
Содан кейін ол топтарды бөлетін үлгілерді үйренеді. Бұл классикалық машиналық оқыту тәсілі және ол таңқаларлықтай жақсы болуы мүмкін... олай болмағанша. (LLM арқылы жасалған мәтінді анықтау бойынша сауалнама)
B) Таңқалу және «жарқырау» ұпай жинау 📈
Кейбір детекторлар мәтіннің қаншалықты «болжамды» екенін есептейді.
-
Таңқалу: шамамен алғанда, тілдік модель келесі сөзге қаншалықты таң қалады. (Бостон университеті - Таңқалу жазбалары)
-
Шатасу деңгейінің төмендеуі мәтіннің жоғары болжамды екенін көрсетуі мүмкін (бұл жасанды интеллект шығыстарында болуы мүмкін). (DetectGPT)
-
«Burstiness» сөйлем күрделілігі мен ырғағында қаншалықты вариация бар екенін өлшеуге тырысады. (GPTZero)
Бұл тәсіл қарапайым және жылдам. Оны шатастыру да оңай, себебі адамдар да болжамды түрде жаза алады (сәлем, корпоративтік электрондық пошталар). (OpenAI)
C) Стилометрия (саусақ ізін жазу) ✍️
Стилометрия келесідей өрнектерді қарастырады:
-
орташа сөйлем ұзындығы
-
тыныс белгілерінің стилі
-
функция сөз жиілігі (the, and, but…)
-
сөздік қорының әртүрлілігі
-
оқылымдылық көрсеткіштері
Бұл мәтіннен басқа «қолжазба талдауы» сияқты. Кейде көмектеседі. Кейде біреудің аяқ киіміне қарап суық тиюді анықтау сияқты. (Стилометрия және сот-медициналық сараптама: Әдебиетке шолу; Авторлық атрибуциядағы функционалдық сөздер)
D) Су белгісін анықтау (бар болған кезде) 🧩
Кейбір модель жеткізушілері жасалған мәтінге нәзік үлгілерді («су белгілерін») енгізе алады. Егер детектор су белгісі схемасын білсе, оны тексеруге тырыса алады. (Үлкен тілді модельдерге арналған су белгісі; SynthID мәтіні)
Бірақ... барлық модельдерде су белгісі бола бермейді, барлық шығыстарда өңдеуден кейін су белгісі сақталмайды және барлық детекторларда құпия ақпаратқа қол жеткізу мүмкін емес. Сондықтан бұл әмбебап шешім емес. (Үлкен тілді модельдерге арналған су белгілерінің сенімділігі туралы; OpenAI)
3) Жасанды интеллект детекторының жақсы нұсқасын не құрайды ✅
«Жақсы» детектор (менің тәжірибем бойынша, олардың бірнешеуін редакциялық жұмыс процестері үшін қатар тексереді) ең қатты айқайламайды. Ол жауапкершілікпен әрекет ететін детектор.
Міне, жасанды интеллект детекторын мықты ететін нәрсе:
-
Калибрленген сенімділік: 70% қолмен бұлғау емес, тұрақты нәрсені білдіруі керек. (LLM арқылы жасалған мәтінді анықтау бойынша сауалнама)
-
Жалған оң нәтижелер аз: ағылшын тілінен басқа тілдерді, заңгерлік жазбаларды немесе техникалық нұсқаулықтарды таза болғандықтан ғана «Жасанды интеллект» деп белгілемеу керек. (Стэнфорд ХАЙ; Лян және т.б. (arXiv))
-
Мөлдір шектеулер: ол белгісіздікті мойындап, диапазондарды көрсетуі керек, бәрін білетіндей болып көрінбеуі керек. (OpenAI; Turnitin)
-
Доменді тану: кездейсоқ блогтарда оқытылған детекторлар көбінесе академиялық мәтінмен қиналады және керісінше. (LLM арқылы жасалған мәтінді анықтау бойынша сауалнама)
-
Қысқа мәтінді өңдеу: жақсы құралдар кішкентай үлгілерде тым сенімді балл қоюдан аулақ болады (абзац әлем емес). (OpenAI; Turnitin)
-
Түзету сезімталдығы: ол адамның өңдеуін мағынасыз нәтижелерге бірден түспей өңдеуі керек. (LLM арқылы жасалған мәтінді анықтау бойынша сауалнама)
Мен көрген ең жақсылары аздап қарапайым болуға бейім. Ең нашарлары ойды оқып тұрғандай әрекет етеді 😬
4) Салыстыру кестесі - жалпы жасанды интеллект детекторларының «түрлері» және олардың қай жерде жарқырайтыны 🧾
Төменде практикалық салыстыру келтірілген. Бұл бренд атаулары емес - сіз кездесетін негізгі санаттар. (LLM арқылы жасалған мәтінді анықтау бойынша сауалнама)
| Құрал түрі (мысалы) | Ең үздік аудитория | Баға сезімі | Неліктен ол жұмыс істейді (кейде) |
|---|---|---|---|
| Шатасушылықты тексеру құралы Lite | Мұғалімдер, жылдам тексерулер | Еркін | Болжау мүмкіндігі туралы жылдам сигнал - бірақ секіріп кетуі мүмкін.. |
| Классификатор сканері Pro | Редакторлар, HR, сәйкестік | Жазылым | Белгіленген деректерден үлгілерді үйренеді - орташа ұзындықтағы мәтінде жақсы |
| Стилометрия анализаторы | Зерттеушілер, криминалистика мамандары | $$$ немесе ниша | Саусақ іздерін жазуды салыстырады - ерекше, бірақ ұзын пішінде қолдануға ыңғайлы |
| Су белгісін іздеуші | Платформалар, ішкі топтар | Көбінесе жиынтықта болады | Су белгісі бар кезде күшті - егер жоқ болса, бұл негізінен иығын қиқаңдатады |
| Гибридті кәсіпорын жиынтығы | Ірі ұйымдар | Орынға шаққандағы келісімшарттар | Бірнеше сигналды біріктіреді - жақсырақ қамту, реттеуге арналған көбірек тұтқалар (және дұрыс емес конфигурациялаудың көбірек жолдары бар, ой) |
«Баға сезімі» бағанына назар аударыңыз. Иә, бұл ғылыми емес. Бірақ бұл ашық 😄
5) Детекторлар іздейтін негізгі сигналдар - «айтатындар» 🧠
Міне, көптеген детекторлар сорғыштың астында өлшеуге тырысады:
Болжамдылық (токен ықтималдығы)
Тіл модельдері келесі белгілерді болжау арқылы мәтін жасайды. Бұл келесі әрекеттерді жасауға бейім:
-
тегіс ауысулар
-
таңқаларлық сөз таңдауларының азаюы
-
аз таңқаларлық жанама әсерлер (егер сұралмаса)
-
тұрақты дыбыс (Бостон университеті - Perplexity Posts; DetectGPT)
Ал адамдар, керісінше, көбінесе зигзаг тәрізді болады. Біз өзімізге қайшы келеміз, кездейсоқ жанама пікірлер қосамыз, метафоралардан сәл өзгеше нәрселерді қолданамыз - мысалы, жасанды интеллект детекторын поэзияны бағалайтын тостермен салыстыру. Бұл метафора жаман, бірақ сіз түсінесіз.
Қайталау және құрылымдық үлгілер
Жасанды интеллект жазуында нәзік қайталанулар болуы мүмкін:
-
қайталанатын сөйлемдер («Қорытындылай келе…», «Сонымен қатар…», «Сонымен қатар…»)
-
ұқсас абзац ұзындықтары
-
тұрақты қарқын (LLM арқылы жасалған мәтінді анықтау бойынша сауалнама)
Бірақ сонымен қатар - көптеген адамдар, әсіресе мектепте немесе корпоративтік ортада осылай жазады. Сондықтан қайталау - дәлел емес, кілт.
Шамадан тыс айқындық және «тым таза» проза ✨
Бұл ерекше жағдай. Кейбір детекторлар «өте таза жазуды» күдікті деп санайды. (OpenAI)
Бұл ыңғайсыз, себебі:
-
жақсы жазушылар бар
-
редакторлар бар
-
емле тексеруі бар
Сонымен, егер сіз жасанды интеллект детекторларының қалай жұмыс істейтіні туралы ойласаңыз , жауаптың бір бөлігі: кейде олар кедір-бұдырлықты марапаттайды. Бұл... керісінше.
Семантикалық тығыздық және жалпылама сөз тіркесі
Детекторлар келесідей сезім тудыратын мәтінді белгілеуі мүмкін:
-
тым жалпылама
-
нақты өмірлік мәліметтер аз
-
теңгерімді, бейтарап мәлімдемелерге көп көңіл бөлінеді (LLM арқылы жасалған мәтінді анықтау бойынша сауалнама)
Жасанды интеллект көбінесе ақылға қонымды болып көрінетін, бірақ аздап әшекейленген мазмұн шығарады. Жақсы көрінетін, бірақ ешқандай жеке басы жоқ қонақ үй бөлмесі сияқты 🛏️
6) Жіктеуіш тәсілі - ол қалай оқытылады (және неге бұзылады) 🧪
Классификатор детекторы әдетте келесідей оқытылады:
-
Адам мәтіндерінің деректер жиынтығын жинаңыз (эсселер, мақалалар, форумдар және т.б.)
-
Жасанды интеллект мәтінін жасаңыз (бірнеше сұраулар, стильдер, ұзындықтар)
-
Үлгілерді белгілеңіз
-
Модельді мүмкіндіктерді немесе ендірмелерді пайдаланып оларды бөлуге үйретіңіз
-
Оны сақталған деректер бойынша тексеріңіз
-
Жіберіңіз... сосын шындық оны бетіне ұрады (LLM арқылы жасалған мәтінді анықтау бойынша сауалнама)
Неліктен шындық оны сындырады:
-
Доменді ауыстыру: оқыту деректері нақты пайдаланушы жазбасына сәйкес келмейді
-
Модельді ауыстыру: жаңа буын модельдері деректер жиынындағы модельдер сияқты әрекет етпейді
-
Өңдеу әсерлері: адам өңдеулері айқын үлгілерді жоя алады, бірақ нәзік үлгілерді сақтай алады
-
Тілдің әртүрлілігі: диалектілер, ағылшын тіліндегі жазу және ресми стильдер дұрыс оқылмайды (LLM арқылы жасалған мәтінді анықтау бойынша сауалнама; Лян және т.б. (arXiv))
Мен өздерінің демо-жинағында «тамаша» болған, бірақ жұмыс орнында жазу кезінде істен шыққан детекторларды көрдім. Бұл иісшіл итті тек бір ғана печенье брендіне үйретіп, оның әлемдегі барлық тағамдарды табатынын күтумен бірдей 🍪
7) Шатасу мен шатасу - математикалық қысқа жол 📉
Бұл детекторлар тобы тілдік модельді бағалауға сүйенеді:
-
Олар сіздің мәтініңізді әрбір келесі токеннің қаншалықты ықтимал екенін бағалайтын модель арқылы жүргізеді.
-
Олар жалпы «таң қалуды» (таң қалуды) есептейді. (Бостон университеті - таң қалу жазбалары)
-
Олар ырғақтың адамға тән екенін білу үшін вариациялық метрикаларды («жарылыс») қосуы мүмкін. (GPTZero)
Неліктен кейде жұмыс істейді:
-
Шикі жасанды интеллект мәтіні өте тегіс және статистикалық тұрғыдан болжамды болуы мүмкін (DetectGPT)
Неліктен сәтсіздікке ұшырады:
-
қысқа үлгілер шулы
-
ресми жазуды болжауға болады
-
техникалық жазуды болжауға болады
-
ана тілінен тыс жазуды болжауға болады
-
Қатты өңделген жасанды интеллект мәтіні адамға ұқсауы мүмкін (OpenAI; Turnitin)
Сонымен, жасанды интеллект детекторларының жұмыс істеу тәсілі кейде велосипедтер мен мотоциклдерді шатастыратын жылдамдық тапаншасына ұқсайды. Бір жол, әртүрлі қозғалтқыштар 🚲🏍️
8) Су белгілері - «сиядағы саусақ ізі» идеясы 🖋️
Су таңбасы таза шешім сияқты көрінеді: жасанды интеллект мәтінін генерациялау кезінде белгілеп, кейінірек анықтаңыз. (Үлкен тілдік модельдерге арналған су таңбасы; SynthID мәтіні)
Іс жүзінде су белгілері нәзік болуы мүмкін:
-
қайталау оларды әлсіретуі мүмкін
-
аударма оларды бұзуы мүмкін
-
ішінара дәйексөз оларды алып тастай алады
-
Бірнеше дереккөзді араластыру үлгіні бұлыңғыр етуі мүмкін (Үлкен тілдік модельдер үшін су белгілерінің сенімділігі туралы)
Сонымен қатар, су таңбасын анықтау тек келесі жағдайларда ғана жұмыс істейді:
-
су белгісі қолданылады
-
Детектор оны қалай тексеру керектігін біледі
-
мәтін көп өзгертілмеген (OpenAI; SynthID мәтіні)
Иә, су белгілері күшті болуы мүмкін, бірақ олар әмбебап полиция белгісі емес.
9) Жалған оң нәтижелер және олардың неліктен болатыны (ауырсыну бөлігі) 😬
Бұл өз алдына бөлек бөлімге лайық, себебі көптеген дау-дамайлар осы жерде туындайды.
Жалпы жалған оң триггерлер:
-
Өте ресми тон (академиялық, заңгерлік, сәйкестік туралы жазбаша)
-
Ағылшын тілі ана тілі емес (қарапайым сөйлем құрылымдары «үлгіге ұқсас» көрінуі мүмкін)
-
Шаблонға негізделген жазу (мұқаба хаттары, SOP, зертханалық есептер)
-
Қысқа мәтін үлгілері (белгі жеткіліксіз)
-
Тақырыптық шектеулер (кейбір тақырыптар қайталанатын сөз тіркестерін мәжбүрлейді) (Liang және т.б. (arXiv); Turnitin)
Егер сіз біреудің тым жақсы жазғаны үшін айыпталғанын көрген болсаңыз... иә. Мұндай жағдайлар болып тұрады. Және бұл өте қатыгез.
Детектор ұпайын келесідей қарастыру керек:
-
Түтін дабылы, сот шешімі емес 🔥
Ол сізге «іс жабылды» емес, «тексеруге болады» деп хабарлайды (OpenAI; Turnitin)
10) Детектор ұпайларын ересек адам сияқты қалай түсіндіруге болады 🧠🙂
Нәтижелерді оқудың практикалық тәсілі:
Егер құрал бір пайызды берсе
Мұны қауіптің белгісі ретінде қарастырыңыз:
-
0-30%: адам жасаған немесе қатты өңделген болуы мүмкін
-
30-70%: екіұшты аймақ - ештеңені болжама
-
70-100%: жасанды интеллектке ұқсас үлгілер болуы ықтимал, бірақ әлі де дәлелденбеген (Turnitin Guides)
Тіпті жоғары баллдар да қате болуы мүмкін, әсіресе:
-
стандартталған жазу
-
белгілі бір жанрлар (қысқаша мазмұндамалар, анықтамалар)
-
ESL жазу (Liang және т.б. (arXiv))
Тек сандарды емес, түсіндірмелерді іздеңіз
Жақсырақ детекторлар мыналарды қамтамасыз етеді:
-
белгіленген аралық
-
ерекшеліктерге қатысты ескертпелер (болжамдылық, қайталау және т.б.)
-
сенімділік аралықтары немесе белгісіздік тілі (LLM арқылы жасалған мәтінді анықтау бойынша сауалнама)
Егер құрал ештеңені түсіндіруден бас тартып, маңдайыңызға санды қойса... мен оған сенбеймін. Сіз де сенбеуіңіз керек.
11) Жасанды интеллект детекторлары қалай жұмыс істейді: қарапайым ойша модель 🧠🧩
Егер сіз таза нәтиже алғыңыз келсе, осы ойша модельді қолданыңыз:
-
Жасанды интеллект детекторлары машина жасаған мәтінде жиі кездесетін статистикалық және стилистикалық үлгілерді іздейді . ( LLM жасаған мәтінді анықтау бойынша шолу )
-
Олар бұл үлгілерді оқыту мысалдарынан үйренгендерімен салыстырады. (LLM арқылы жасалған мәтінді анықтау бойынша сауалнама)
-
Олар нақты шығу тегі туралы әңгіме емес, ықтималдыққа ұқсас болжам жасады. ( OpenAI )
-
Болжау жанрға, тақырыпқа, ұзындыққа, өңдеулерге және детектордың жаттығу деректеріне. (LLM арқылы жасалған мәтінді анықтау бойынша сауалнама)
Басқаша айтқанда, жасанды интеллект детекторларының жұмыс істеу принципі бойынша, олар авторлықты емес, «ұқсастықты бағалайды». Біреудің немере ағасына ұқсайтынын айту сияқты. Бұл ДНҚ тестімен бірдей емес... тіпті ДНҚ тесттерінің де ерекше жағдайлары бар.
12) Кездейсоқ жалаушаларды азайту бойынша практикалық кеңестер (ойын ойнамай) ✍️✅
«Детекторларды қалай алдау керек» емес. Шынайы авторлықты көрсететін және кездейсоқ қате оқулардан аулақ болатындай етіп қалай жазу керек дегенге көбірек ұқсайды.
-
Нақты мәліметтерді қосыңыз: сіз іс жүзінде қолданған тұжырымдамалардың атаулары, сіз жасаған қадамдар, қарастырған келісімдер
-
Табиғи вариацияны қолданыңыз: қысқа және ұзын сөйлемдерді араластырыңыз (адамдар ойлаған кездегідей)
-
Нақты шектеулерді қосыңыз: уақыт шектеулері, пайдаланылған құралдар, не дұрыс болмады, нені басқаша істер едіңіз
-
Шамадан тыс шаблондық сөздерден аулақ болыңыз: «Сонымен қатар» сөзін шынымен айтатын нәрсемен ауыстырыңыз
-
Жобалар мен жазбаларды сақтаңыз: егер дау туындаса, процесс дәлелдемелері ішкі сезімнен гөрі маңыздырақ
Шын мәнінде, ең жақсы қорғаныс - жай ғана... шынайы болу. «Мінсіз брошюраның» шынайылығы емес, мінсіз шынайылық.
Қорытынды жазбалар 🧠✨
Жасанды интеллект детекторлары құнды болуы мүмкін, бірақ олар шындық машиналары емес. Олар жазу стильдері үнемі бір-бірімен қабаттасатын әлемде жұмыс істейтін, жетілмеген деректерге үйретілген үлгіні сәйкестендірушілер. (OpenAI; LLM арқылы жасалған мәтінді анықтау бойынша сауалнама)
Қысқаша айтқанда:
-
Детекторлар жіктеуіштерге, шатасу/жарқырау, стилометрия және кейде су белгілеріне сүйенеді 🧩 (LLM арқылы жасалған мәтінді анықтау бойынша шолу)
-
Олар сенімділікті емес, «жасанды интеллектке ұқсастықты» бағалайды (OpenAI)
-
Жалған оң нәтижелер ресми, техникалық немесе жергілікті емес жазуларда жиі кездеседі 😬 (Liang және т.б. (arXiv); Turnitin)
-
Детектор нәтижелерін үкім емес, шолу үшін шақыру ретінде пайдаланыңыз (Turnitin)
Иә... егер біреу тағы да « Жасанды интеллект детекторлары қалай жұмыс істейді, сіз оларға: «Олар үлгілерге сүйене отырып болжайды - кейде ақылды, кейде күлкілі, әрқашан шектеулі», - деп айта аласыз.
Нақты мысал: Белгіленген студенттік эссені асықпай қарап шығу 🧑🏫
Сценарий
Университеттегі жазу бойынша репетиторға жасанды интеллект детекторы «жасанды интеллекттің 86% ықтималдығы» деп белгілейтін 1200 сөзден тұратын тарих эссесі берілгенін елестетіп көріңізші. Эссе ресми, ұқыпты құрылымдалған және «бұл мынаны білдіреді» және «бұл туралы пікірталас тудыруы мүмкін» сияқты қайталанатын сөз тіркестеріне негізделген. Бір қарағанда, бұл күдікті болып көрінуі мүмкін.
Бірақ студент ағылшын тілінде сөйлеуді жақсы біледі, сабақтан алынған қатаң эссе үлгісін пайдаланған және жобаны грамматиканы тексеру бағдарламалық жасақтамасымен өңдеген. Басқаша айтқанда, бұл дәл осы жағдайдағы детекторлық баға жазалауды емес, қайта қарауды тудыруы керек.
Мақсат - оқушыны «ұстап алу» емес. Мақсат - бағаның басқа дәлелдермен расталатынын анықтау.
Сарапшыға не қажет
Кез келген шешім қабылдамас бұрын, тәрбиеші мыналарды жинайды:
-
Детектор есебі, егер бар болса, белгіленген үзінділерді қоса алғанда
-
Эссенің қысқаша мазмұны және бағалау критерийі
-
Студенттің жоба тарихы, жазбалары, жоспары немесе библиографиясы
-
Курс саясатында көрсетілген кез келген рұқсат етілген жазуды қолдау құралдары
-
Егер саясат мүмкіндік берсе, сол оқушыдан бір немесе екі бұрынғы жазу үлгілері
-
Студенттің жазу процесі туралы қысқаша түсіндірмесі
Бұл маңызды, себебі детектор тек соңғы мәтінді көреді. Ол оқушының төрт күн бойы жоба жазуға, шаблонды пайдалануға, сабақтағы сөз тіркестерін көшіруге, жазбаларды аударуға немесе кері байланыспен түзетуге жұмсағанын білмейді.
Мысал нұсқаулығы
Оқытушы істі бағалау кезінде осы шолу нұсқаулығын пайдалана алады:
Бұл эссені жасанды интеллектті қолданудың дәлелі ретінде емес, жазу процесін тексеру ретінде қарастырыңыз. Детектордың негізгі сәттерін студенттің жазбаларымен, жоба тарихымен, дереккөздер тізімімен және бұрынғы жазу үлгісімен салыстырыңыз. Қандай үзінділер шынымен күдікті екенін және қайсысы жай ғана формальды, шаблондық немесе ағылшын тілінің әсерінен болуы мүмкін екенін анықтаңыз. Дәлелдерді үш топқа бөліңіз: детектор сигналы, жазу процесінің дәлелі және адамның пікірі. Детектор ұпайынан тыс айқын дәлелдер болмаса, тәртіптік шараларды ұсынбаңыз.
Оны қалай тексеруге болады
Әділ шолу процесі үш қарапайым тексеруді қолдануы мүмкін:
-
Студенттен екі абзацты ауызша түсіндіруді сұраңыз.
Егер олар дәлелді, дереккөздерді және оны неліктен осылай тұжырымдағанын түсіндіре алса, бұл құнды процесс дәлелі болып табылады. -
Белгіленген бөлімдерді эссе үлгісімен салыстырыңыз.
Егер детектор көбінесе үлгі стиліндегі сөз тіркестерін ерекшелесе, балл авторлыққа емес, құрылымға жауап беруі мүмкін. -
Ұсақ үзінділерді емес, тек ұзын бөлімдерді қайта орындаңыз
. Бір абзац шулы болуы мүмкін. 600-900 сөзден тұратын үлгі әдетте үш оқшауланған сөйлемге қарағанда мағыналырақ сигнал береді.
Нәтиже
Көрнекі нәтиже: Бес эсседен тұратын шолу жаттығуында тәрбиеші осы жұмыс процесін қолданар алдында және кейін процесті уақыт бойынша есептейді.
Жұмыс процесіне дейін әрбір белгіленген эссені қайта қарауға шамамен 35 минут кетті, себебі тәлімгер нені басынан бастап тексеру керектігін шешуі керек болды.
Жұмыс процесін пайдаланғаннан кейін әрбір шолу шамамен 18 минутқа созылды:
-
Детектордың негізгі белгілерін оқуға 5 минут
-
Жобаларды, ескертпелерді және дереккөздерді тексеруге 6 минут
-
Бұрынғы жазу немесе шаблон тілін салыстыруға 4 минут
-
Қысқаша шолу жазуға 3 минут
Бұл әр эссеге шамамен 17 минут немесе бес белгіленген эссеге 85 минут үнемдеу дегенді білдіреді. Бұл көрсеткішті тексеру оңай: әр шолуға уақыт бөлу, қанша істің шиеленісуі қажет екенін санау және соңғы шешім тек детектор ұпайына немесе растайтын дәлелдерге негізделгенін жазу.
Табыстың жақсы өлшемі «қанша оқушы ұсталды» емес, күмәнді ұпайлардың қаншасы үнемі, айқын дәлелдермен және асығыс болжамдардың аздығымен қайта қаралғаны.
Не дұрыс болмауы мүмкін
Ең үлкен қателік - детектордың пайызын шешім ретінде қарастыру. «86% жасанды интеллект болуы мүмкін» деген ресми пікір естіледі, бірақ бұл әлі де қате болуы мүмкін.
Басқа жиі кездесетін қателіктерге мыналар жатады:
-
Тек соңғы эссені тексеріп, жобаларды елемеңіз
-
Жылтыратылған ESL жазуын «тым тегіс» деп айыптау
-
Бір детекторды криминалистикалық құрал сияқты пайдалану
-
Кішкентай үзінділерді іске қосу және ұпайды сенімді деп санау
-
Оқушыларға қандай дәлелдер келтіре алатынын айтпау
-
Грамматикалық құралдардың, үлгілердің және кері байланыстың стильді өзгерте алатынын ұмыту
Жақсы шолу процесі құпиялылықты да қорғауы керек. Саясатта анық рұқсат етілмесе, студенттерден жеке жазбаларды, жеке хабарламаларды немесе байланыссыз құжаттарды жүктеуді сұрамау керек.
Практикалық қорытынды
Жасанды интеллект детекторларын шындықты анықтау құралы ретінде емес, сұрыптау құралы ретінде пайдаланыңыз. Күшті процесс баллды жобалармен, дереккөздерді тексерумен, жазу тарихымен, студенттің түсіндірмесімен және адамның пікірімен біріктіреді. Бұл мектептерге, редакторларға және рецензенттерге қорқынышты пайыздан әлдеқайда құнды нәрсе береді: олар сенімді түрде қорғай алатын шешім.
Жиі қойылатын сұрақтар
Жасанды интеллект детекторлары іс жүзінде қалай жұмыс істейді?
Көптеген жасанды интеллект детекторлары авторлықты «дәлелдемейді». Олар сіздің мәтініңіздің тілдік модельдермен жиі жасалатын үлгілерге қаншалықты ұқсас екенін бағалайды, содан кейін ықтималдыққа ұқсас балл шығарады. Олар классификатор модельдерін, шатасу стиліндегі болжамдылықты бағалауды, стилометрия мүмкіндіктерін немесе су белгісін тексеруді пайдалануы мүмкін. Нәтижені түпкілікті шешім емес, тәуекел белгісі ретінде қарастырған дұрыс.
Жасанды интеллект детекторлары жазбаша түрде қандай сигналдарды іздейді?
Жалпы сигналдарға болжамдылық (модельдің келесі сөздеріңізге қаншалықты «таң қалатыны»), сөйлем құрылымындағы қайталау, әдеттен тыс тұрақты қарқын және нақты мәліметтері төмен жалпы сөз тіркестері жатады. Кейбір құралдар сонымен қатар сөйлем ұзындығы, тыныс белгілерінің қолданылу жиілігі және функционалдық сөздердің жиілігі сияқты стилометриялық белгілерді зерттейді. Бұл сигналдар адам жазуымен, әсіресе ресми, академиялық немесе техникалық жанрларда сәйкес келуі мүмкін.
Неліктен жасанды интеллект детекторлары адамның жазуын жасанды интеллект деп белгілейді?
Жалған оң нәтижелер адам жазуы статистикалық тұрғыдан «тегіс» немесе шаблон тәрізді көрінген кезде пайда болады. Формальды тон, сәйкестік стиліндегі сөз тіркестері, техникалық түсіндірмелер, қысқа үлгілер және ана тілі емес ағылшын тілі вариацияны азайтатындықтан, жасанды интеллект сияқты қате түсінілуі мүмкін. Сондықтан таза, жақсы өңделген абзац жоғары балл алуы мүмкін. Детектор шығу тегін растамай, ұқсастықты салыстырады.
Шатасу және «жарылу» детекторлары сенімді ме?
Мәтін шикі, жоғары болжамды жасанды интеллект шығысы болған кезде шатасушылыққа негізделген әдістер жұмыс істей алады. Бірақ олар нәзік: қысқа үзінділер шулы, ал көптеген заңды адами жанрлар табиғи түрде болжамды (қысқаша мазмұндар, анықтамалар, корпоративтік электрондық пошталар, нұсқаулықтар). Өңдеу және жылтырату да ұпайды күрт өзгертуі мүмкін. Бұл құралдар өздігінен жоғары тәуекелді шешімдерге емес, жылдам сұрыптауға сәйкес келеді.
Классификатор детекторлары мен стилометрия құралдарының айырмашылығы неде?
Классификатор детекторлары адам және жасанды интеллект (кейде гибридті) мәтіндердің белгіленген деректер жиынтығынан үйренеді және мәтініңіздің қай шелекке көбірек ұқсайтынын болжайды. Стилометрия құралдары сөз таңдау үлгілері, функция сөздері және оқылымдылық сигналдары сияқты «саусақ іздерін» жазуға бағытталған, бұл ұзақ мерзімді талдауда ақпараттық болуы мүмкін. Екі тәсіл де доменнің ауысуынан зардап шегеді және жазу стилі немесе тақырыбы олардың оқыту деректерінен өзгеше болған кезде қиындықтарға тап болуы мүмкін.
Су белгілері жасанды интеллектті анықтау мәселесін біржолата шеше ме?
Су белгілері модель оларды пайдаланған кезде және детектор су белгісінің схемасын білген кезде күшті болуы мүмкін. Шын мәнінде, барлық провайдерлердің су белгісі емес, және жалпы түрлендірулер - қайталау, аудару, ішінара дәйексөз келтіру немесе дереккөздерді араластыру - үлгіні әлсіретуі немесе бұзуы мүмкін. Су белгісін анықтау бүкіл тізбек бір-біріне сәйкес келетін тар жағдайларда күшті, бірақ ол әмбебап қамту емес.
«X% AI» ұпайын қалай түсіндіруім керек?
Бір пайызды жасанды интеллект авторлығының дәлелі емес, «жасанды интеллектке ұқсастықтың» шамамен көрсеткіші ретінде қарастырыңыз. Орташа деңгейдегі ұпайлар әсіресе екіұшты, тіпті жоғары ұпайлар стандартталған немесе ресми жазуда қате болуы мүмкін. Жақсы құралдар ерекшеленген аралық, ерекшеліктер туралы ескертпелер және белгісіздік тілі сияқты түсініктемелерді ұсынады. Егер детектор өзін түсіндірмесе, санды сенімді деп санамаңыз.
Мектептер немесе редакциялық жұмыс процестері үшін жақсы жасанды интеллект детекторын не жасайды?
Қатты детектор калибрленеді, жалған оң нәтижелерді азайтады және шектеулерді анық жеткізеді. Ол қысқа үлгілерге тым сенімділікпен қараудан аулақ болуы, әртүрлі салаларды (академиялық, блогтық және техникалық) өңдеуі және адамдар мәтінді қайта қараған кезде тұрақты болып қалуы керек. Ең жауапты құралдар кішіпейілділікпен әрекет етеді: олар ойды оқу құралы сияқты әрекет етудің орнына дәлелдер мен белгісіздік ұсынады.
Жүйені «ойынға» айналдырмай, кездейсоқ жасанды интеллект жалаушаларын қалай азайтуға болады?
Айла-шарғыларға емес, шынайы авторлық белгілерге назар аударыңыз. Нақты мәліметтерді қосыңыз (жасаған қадамдарыңыз, шектеулеріңіз, ымыраға келулеріңіз), сөйлем ырғағын табиғи түрде өзгертіңіз және әдетте пайдаланбайтын тым шаблонды ауысулардан аулақ болыңыз. Жобаларды, жазбаларды және қайта қарау тарихын сақтаңыз - дәлелдемелерді өңдеу көбінесе дауларда детектор ұпайынан маңыздырақ. Мақсат - мінсіз брошюралық проза емес, жеке тұлғаның анықтығы.
Сілтемелер
-
Есептеу лингвистикасы қауымдастығы (ACL антологиясы) - LLM арқылы жасалған мәтінді анықтау бойынша шолу - aclanthology.org
-
OpenAI - жасанды интеллектпен жазылған мәтінді көрсетуге арналған жаңа жасанды интеллект классификаторы - openai.com
-
Turnitin Guides - классикалық есеп көрінісінде жасанды интеллект жазуын анықтау - guides.turnitin.com
-
Turnitin Guides - жасанды интеллект жазуды анықтау моделі - guides.turnitin.com
-
Turnitin - Жасанды интеллект жазуды анықтау мүмкіндіктеріміздегі жалған оң нәтижелерді түсіну - turnitin.com
-
arXiv - DetectGPT - arxiv.org
-
Бостон университеті - Түсініспеушілік туралы жазбалар - cs.bu.edu
-
GPTZero - Шатасу және жарылу: бұл не? - gptzero.me
-
PubMed Central (NCBI) - Стилометрия және сот-медициналық сараптама: Әдеби шолу - ncbi.nlm.nih.gov
-
Есептеу лингвистикасы қауымдастығы (ACL антологиясы) - Авторлық құқықтағы функционалдық сөздер - aclanthology.org
-
arXiv - Үлкен тілді модельдерге арналған су белгісі - arxiv.org
-
Әзірлеушілерге арналған Google жасанды интеллекті - SynthID мәтіні - ai.google.dev
-
arXiv - Үлкен тілдік модельдер үшін су белгілерінің сенімділігі туралы - arxiv.org
-
OpenAI - Интернетте көріп, естігеніміздің қайнар көзін түсіну - openai.com
-
Стэнфорд HAI - Жасанды интеллект детекторлары ағылшын тілінің ана тілі емес жазушыларына қарсы - hai.stanford.edu
-
arXiv - Лян және т.б. - arxiv.org