Детектор ИИ-текста не «узнаёт» модель, которая писала текст, а оценивает вероятность по статистическим признакам — предсказуемости слов и однородности структуры предложений. Поэтому результат всегда вероятностный, а не точный факт.
Что именно измеряет детектор
Языковая модель при генерации текста выбирает каждое следующее слово из распределения вероятностей — какие-то продолжения для модели «очевидны», какие-то менее ожидаемы. Детекторы опираются на два основных показателя этого поведения: перплексию и burstiness.
Перплексия — предсказуемость текста
Перплексия показывает, насколько «удивлён» был бы алгоритм, предсказывая следующее слово в тексте. У сгенерированного текста перплексия обычно ниже — модель в среднем выбирает наиболее вероятные с её точки зрения слова, и текст получается более ровным и предсказуемым. У живого текста перплексия выше: человек чаще использует неожиданные обороты, отступления, разговорные конструкции, которые статистически менее вероятны.
Burstiness — неоднородность структуры
Второй показатель, burstiness, оценивает, насколько сильно варьируется длина и сложность предложений внутри текста. У человека естественная речь идёт «рывками» — короткое предложение, потом длинное с несколькими придаточными, потом снова короткое. У текста, сгенерированного моделью без специальной настройки, эта вариативность обычно меньше: предложения тяготеют к похожей длине и структуре. Именно на комбинации перплексии и burstiness строился, в частности, один из первых публичных детекторов — GPTZero, представленный студентом Принстонского университета в начале 2023 года.
Как это применяют конкретные сервисы
Универсального стандарта у детекторов нет — каждый сервис обучает собственную модель-классификатор на массиве текстов, размеченных как «человек» и «ИИ», и дальше эта модель выдаёт вероятность для нового текста. Точность зависит от того, на каких текстах классификатор обучали и насколько они похожи на то, что ему придётся проверять в реальности.
Turnitin — система, которую используют многие университеты по всему миру для проверки на плагиат, — добавила модуль обнаружения ИИ-текста в апреле 2023 года. Модуль выдаёт процент текста в работе, который система относит к вероятно сгенерированному, но производитель прямо указывает: показатель носит справочный характер и не должен быть единственным основанием для обвинения студента.
Российский сервис Антиплагиат.ру встроил в свою систему отдельный модуль поиска ИИ-текста, который анализирует загруженную работу и показывает справочный процент вероятного использования генеративных моделей — отдельно от основного показателя оригинальности по совпадениям с источниками. Как и у зарубежных аналогов, это вероятностная оценка, а не подтверждённый факт.
| Сервис | Что показывает | Статус результата |
|---|---|---|
| GPTZero | перплексия и burstiness текста | вероятностная оценка, публичный ранний детектор |
| Turnitin | процент текста, похожего на ИИ-сгенерированный | справочный показатель, не итоговый вердикт |
| Антиплагиат.ру | отдельный модуль поиска ИИ рядом с оригинальностью | справочный процент для проверяющего |
| OpenAI AI text classifier | вероятность ИИ-происхождения | отозван в июле 2023 года из-за низкой точности |
Почему возможны ложные срабатывания
Сама OpenAI прямо признала ограничения метода — закрывая собственный классификатор летом 2023 года, компания сообщила, что инструмент верно распознавал лишь часть текстов, действительно написанных ИИ, и при этом иногда ошибочно помечал как ИИ-сгенерированные тексты, написанные людьми. Причина в самом принципе метода — он ищет статистические паттерны, а не «доказательство» происхождения текста, и ровный предсказуемый стиль изложения не гарантированно означает работу модели.
Ещё один источник ложных срабатываний — тексты, написанные не на родном языке автора. Стилистически более простые и предсказуемые конструкции, характерные для неносителей языка, статистически ближе к тому, что выдаёт языковая модель, из-за чего такие тексты риск получить завышенную оценку выше среднего.
Что делать, если работу пометили как ИИ-сгенерированную
- Уточните у преподавателя или проверяющего, на основании какого именно показателя сделан вывод — процент детектора сам по себе не доказательство
- Если работа писалась самостоятельно, полезно сохранять черновики, историю правок в документе или заметки по ходу работы — это косвенное подтверждение авторства
- Перечитайте текст на предмет однородности — слишком ровный ритм предложений одинаковой длины действительно повышает риск ложного срабатывания, стоит осознанно разнообразить структуру
- Не полагайтесь на один инструмент проверки — у разных детекторов разные пороги и разная обучающая выборка, результат может заметно отличаться
Ограничения метода, которые стоит знать заранее
Детектор ИИ-текста устроен принципиально иначе, чем классическая проверка на плагиат: антиплагиат сравнивает текст с базой уже опубликованных источников и находит буквальные совпадения — это проверяемый факт. Детектор ИИ ничего не сравнивает напрямую, он оценивает статистическую похожесть стиля на типичный вывод языковых моделей. Поэтому результат детектора ИИ по своей природе менее надёжен, чем результат антиплагиата, и разработчики крупных систем — включая Turnitin — сами указывают на это в документации к своим продуктам.
Частые вопросы
Может ли детектор ИИ определить, какая именно модель писала текст
Нет, детекторы оценивают вероятность того, что текст сгенерирован ИИ в целом, а не устанавливают конкретную модель. Разные модели дают разный статистический профиль, но это не входит в стандартный отчёт большинства детекторов.
Определяет ли Турнитин текст, переписанный после генерации ИИ
Точность падает при ручном редактировании — чем сильнее текст переработан человеком, тем ближе его статистические признаки к обычному человеческому письму. Значительная переработка может снизить показатель детектора, но производитель не даёт гарантий по конкретным сценариям.
Стопроцентно ли надёжен процент оригинальности рядом с процентом ИИ в Антиплагиате
Это два разных показателя. Процент оригинальности основан на прямом сравнении с базой источников и достаточно надёжен. Процент ИИ — вероятностная оценка стиля, и её стоит воспринимать как дополнительный сигнал для проверяющего, а не окончательный вердикт.
Почему живой текст иногда получает высокий процент ИИ
Чаще всего из-за ровной, предсказуемой структуры предложений — технический стиль, короткие однотипные фразы, письмо не на родном языке. Метод детектора статистический, и подобный стиль математически похож на типичный вывод языковой модели, даже если писал его человек.