В случае, если нейросеть получает на анализ два текста в новом диалоге и её спрашивают, какой из них был создан ею ранее, модель иногда действительно может выбрать правильный вариант. Однако воспринимать такой ответ как доказательство авторства или распознавание собственного текста не следует. Об этом в интервью «Газете.Ru» сообщил заведующий лабораторией доверенного искусственного интеллекта РТУ МИРЭА Юрий Силаев.

Когда предыдущая генерация текста недоступна модели в текущем контексте или через механизмы памяти, она не «вспоминает» конкретный текст. Вместо этого нейросеть оценивает признаки, которые считает характерными для машинной генерации. К ним относятся слишком ровная структура, предсказуемое построение абзацев, определённая лексика, последовательность аргументов или общий стиль изложения. Однако проблема заключается в том, что ни один из этих признаков не является эксклюзивным для ИИ. Человек также может писать структурированно и шаблонно, а текст, созданный нейросетью, после редактирования может потерять большую часть своих характерных черт.

Более того, нейросеть может ошибиться в обе стороны: она может либо назвать своим текстом произведение, написанное человеком, либо решить, что сгенерированный ею текст принадлежит человеку. На результат влияет даже формулировка вопроса, длина текста перед моделью и жанр, к которому относится данный текст.

Как уточнил Юрий Силаев, существует и другая причина для ошибок. Модель может ориентироваться не столько на реальное авторство, сколько на своё представление о том, как выглядит «хороший ответ нейросети». Например, аккуратно структурированный и грамотно написанный текст может показаться ей более похожим на собственный. Это создаёт парадоксальную ситуацию: иногда ИИ фактически отвечает не на вопрос «писал ли я это?», а на вопрос «похоже ли это на текст, который я мог бы написать?»

Поэтому, если вы решите спросить у чат-бота: «это написал ты?», это можно сделать из любопытства. Однако использовать полученный ответ как проверку авторства нецелесообразно. Тем более нельзя только на основании этого обвинять школьника, студента или сотрудника в использовании нейросети. Даже специализированные детекторы работают с вероятностью и могут ошибочно классифицировать человеческие тексты как текст, созданный ИИ.

Надежнее всего смотреть не на один «процент ИИ», а на происхождение текста: историю его создания, черновики, промежуточные версии, источники и способность автора объяснить свои аргументы и ход работы. Сам текст может содержать признаки машинной генерации, но в большинстве обычных ситуаций он не несёт универсальной надежной метки, по которой можно однозначно установить, что эти строки написал человек, а эти — нейросеть.