«Нейросеть такую галиматью не напишет»: ИИ делает домашку за новосибирских школьников — как учителя вычисляют обман

Лет 10–15 назад сложно было представить, что можно будет отправить в чате в телефоне просьбу: «Напиши сочинение по литературе по „Горе от ума“ Грибоедова на тему „Видит ли автор в Чацком идеального героя“» и через минуту получить готовое домашнее задание. Волшебные решения были только в книгах и фильмах, а сейчас ученики свободно этим пользуются. Журналист НГС Мария Тищенко узнала, видят ли учителя в этом проблему, как они отличают работы школьников от нейросетей и как использовать искусственный интеллект на уроках с пользой вместе с учениками.

Анна Смоленцева, в недавнем прошлом репетитор по русскому языку, вспоминает, что когда она активно работала, нейросетей еще не было.

— Я просто забивала в Google куски сочинений и иногда он выдавал полный текст. Тогда ребенок вдруг понимал, что училка у него не такая древняя и интернет у неё есть, — улыбается она.

Учитель русского языка и литературы гимназии «Краснообской» Иван Кокарев считает, что развитие технологий нейросетей и искусственного интеллекта во всех сферах человеческой жизни создают не только новые возможности для людей, но и ставят новые вызовы и проблемы, и особенно ярко это проявляется в сфере образования.

— Одним из таких вызовов является борьба с сочинениями, созданными при помощи искусственного интеллекта. Они вводят в заблуждение учителя о сильных и слабых сторонах учеников и мешают ему правильно и четко выстроить свою программу преподавания, что в дальнейшем приводит к плачевным результатам на государственной итоговой аттестации, — пояснил он.

Учительница литературы Ирина (имя изменено по ее просьбе) подтверждает, что сейчас ученики сменили тактику.

— Когда я училась в школе и когда только работала первые годы учителем, все пользовались сборниками из серии «100, 200, 300, 500 золотых сочинений». И, мне кажется, это очень сильно мешало нам тогда думать. Казалось, что есть какой-то очень хороший образец, который мы должны повторить. Но ведь это не так, — рассуждает она. — Сейчас дети, естественно, пользуются ChatGPT. Недавно мне пришлось прочитать своим ученикам пафосную душещипательную лекцию о том, почему не стоит писать эссе c использованием ChatGPT. Пыталась объяснить, что плагиат искусственного интеллекта, конечно, не защищен копирайтом, но в этом заимствовании есть что-то неприятное и нечестное, как и в любом плагиате. Репутации ученых, ректоров были разрушены из-за подобных прецедентов.

Учительница русского языка и литературы новосибирской школы Екатерина (имя изменено по ее просьбе) сказала, что отличить сочинения не сложно.

— Знаю, что нейросеть такую галиматью не напишет, поэтому никогда не читала сочинения по литературе от детей, написанные нейросетью. Поэтому для нас это вообще не актуально, — призналась она.

Учитель математики Максим заметил, что в его предмете определить работу нейросети гораздо сложнее — разве что едва складывающий два и два ученик неожиданно начнет с легкостью решать квадратные уравнения.

Иван Кокарев уверен, что при анализе текстов учеников необходимо обращать особое внимание на стиль, языковые конструкции и логику повествования. Сочинения требуют от школьников эмоциональных вложений, рассуждений.

— В таких сочинениях легко обнаружить «след» машинного интеллекта, так как он, в отличие от человека, склонен к использованию более формального и малоэмоционального языка. В этих текстах отсутствуют особенные слова или фразы, особенности синтаксиса. А самое главное — отсутствует конкретика. В общем, все то, что создаёт индивидуальный язык автора, — объяснил он.

Кроме того, Иван использует специальные онлайн-сервисы и программы для проверки оригинальности текста — текст.ру, Copyleaks или Sapling.

— Как говорится в народе: «против лома нет приема, если нет другого лома». К тому же важно уделять особое внимание шаблонным фразам и канцеляризмам. Искусственный интеллект при генерации текстов обычно оперирует заранее заданными конструкциями, которые не характерны для школьной программы, а, скорее, соответствуют языку юристов или бюрократов. Если такие шаблонные выражения встречаются повсеместно без какого-либо чувства ритма, то текст с большой вероятностью является сгенерированным, — комментирует Иван Кокарев.

Ирина замечает, что буквально полгода назад, когда она проверяла, какого рода тексты по темам сочинений может выдавать искусственный интеллект, получала результаты с большим количеством фактических ошибок.

— Сейчас ChatGPT научился делать меньше фактических ошибок, но тем не менее его очень прилизанная, чудовищная правильность, конечно, выдаёт, что перед вами не живое сознание, — добавляет она.

Ирина уверена, что отличить сочинение ученика от сгенерированного нейросетью, несложно даже интуитивно. По опыту учительницы, если несколько детей в классе используют ChatGPT, нейросеть выдает им похожие тексты: структурированные, бездушные и «очень раздражающе грамматически правильные».

— Искусственный интеллект никогда не выдаст ничего уникального. И тем более каждый учитель знает, как ребенок мыслит, как разговаривает, на какие вещи обращает внимание, — подчеркнула Ирина.

Она считает, что единственное, что может сделать учитель в этой ситуации, — это рассказать ребенку, что ему интересны именно его мысли и именно его мнение.

Когда у Ирины возникают сомнения, она прибегает к помощи другого искусственного интеллекта: пользуется бесплатной программой ZeroGPT, которая показывает, на сколько процентов текст составлен с помощью ИИ.

— Это, кстати, даже интересный опыт. По ZeroGPT видно, насколько у ученика есть языковой вкус и желание оставаться все же честным: например, есть те, которые берут текст, написанный GPT, но переписывают его под себя, пытаются пересказать своим языком. Кто-то оставляет все, как есть. Это может многое рассказать вам об ученике. И вы сможете с ним вместе проанализировать такое эссе и объяснить, где живо и интересно, а где искусственно и скучно, — говорит учительница. — Я не исключаю, что иногда чат может помочь оформить свои мысли, особенно когда дети только учатся этому. Но, на мой взгляд, это может быть каким-то заданием в классе, чтобы учитель и ученики на уроке вместе проходили такой путь создания текста и критично разбирали его. Чтобы можно было на конкретных примерах показать, что AI никогда не заменит человека.

По ее мнению, запрета на нейросети и разговоров о том, что искусственный интеллект не может помогать в образовании, не должно быть, но важно объяснять, что творческие тексты — это не то, с чем может помочь GPT. Зато ИИ можно использовать в быстром поиске информации. Хотя, конечно, и здесь есть нюансы — с фактологией у нейросетей в некоторых областях пока туго, отличать фейки они не научились.

— Я, например, как учитель литературы, как ни странно, очень часто прошу чат нарисовать иллюстрацию к какому-то художественному тексту или фрагменту, когда на уроке нужно что-то визуализировать буквально, показать, какими странными в тексте могут быть образы, пространство и так далее. В таком виде ChatGPT может вдохновить нас на интересные наблюдения и беседы, — добавила она.

Конечно же, о том, как отличить сочинение школьника от того, который написал искусственный интеллект, нужно было спросить и у самого ИИ.

— Отличить сочинение, написанное нейросетью, от работы школьника, может быть непросто, но есть несколько признаков, на которые стоит обратить внимание. Эти признаки не являются абсолютными, и иногда может быть сложно провести четкую грань между текстами, созданными человеком и нейросетью, — ответил журналисту НГС ChatGPT и выдал целый список отличительных особенностей.

1. Структура и логика: нейросети часто создают тексты с четкой структурой, но могут не всегда придерживаться логического развития мысли. Школьные сочинения могут быть менее последовательными, с резкими переходами между идеями.

2. Оригинальность идей: нейросети могут генерировать обобщенные идеи и использовать стандартные фразы. Школьники чаще выражают свои личные мысли и чувства, что может проявляться в уникальных примерах и интерпретациях.

3. Язык и стиль: нейросети могут использовать сложные конструкции и разнообразный словарный запас, но иногда это выглядит неестественно. Школьные сочинения могут при этом содержать грамматические ошибки, простые предложения и более ограниченный словарный запас.

4. Эмоциональная составляющая: работы школьников часто содержат больше эмоций и личного восприятия, в то время как нейросети могут создавать более нейтральные и безличные тексты.

5. Ошибки и неточности: нейросети могут делать фактические ошибки или неправильно интерпретировать литературные произведения. Школьники тоже могут ошибаться, но эти ошибки чаще связаны с их личным пониманием текста.

6. Уровень анализа: нейросети могут предлагать поверхностный анализ, в то время как школьники, особенно более продвинутые, могут глубже вникать в темы и использовать литературные термины.

7. Объем текста: иногда нейросети генерируют тексты большего объема, чем требуется, чтобы покрыть тему. Школьники могут писать менее объемно, но более целенаправленно.

На вопрос, какими программами школьный учитель может проверить сочинения учеников, ИИ тоже ответил списком.

1. Плагиат-детекторы, такие как Turnitin, Unicheck или Antiplag. Хотя они не всегда могут определить, написан ли текст нейросетью, наличие большого количества общих фраз может вызывать подозрения.

2. Специальные инструменты для определения AI-текстов: существуют платформы, разработанные специально для выявления текстов, созданных искусственным интеллектом. Например, GPT-2 Output Detector от OpenAI и GLTR (Giant Language Model Test Room) — инструмент, который анализирует вероятность появления слов в тексте и может помочь определить, был ли он сгенерирован нейросетью.

3. Стилометрические анализаторы: эти инструменты анализируют стиль написания и могут помочь выявить несоответствия в тоне, словарном запасе и структуре текста. Примеры включают JStylo и другие программы для анализа стиля.

4. Грамматические и стилистические проверщики: инструменты вроде Grammarly или LanguageTool могут помочь выявить аномалии в языке, которые могут указывать на то, что текст не был написан человеком.

5. Сравнение с предыдущими работами: если стиль, уровень анализа или использование языка учеником резко отличаются от его прежних сочинений, это может вызвать подозрения.

6. Интервью и обсуждение: учителя могут задать вопросы ученику о его сочинении, чтобы проверить его понимание темы и оригинальность идей. Если ученик не может объяснить свои мысли или идеи, это может быть признаком того, что сочинение было написано не им.

Ранее мы рассказывали о том, как GPT написал репортаж о Новосибирске — нейросеть притворялась Чеховым.