Добавь сайт в закладки! Инструкция по ссылке.
Эксперимент с начинающими разработчиками показал, что пользователи не завершали задания быстрее своих коллег без помощника, но хуже усваивали применяемые концепции и менее эффективно справлялись с отладкой
Искусственный интеллект207:22
Исследование, проведенное учеными из Anthropic, продемонстрировало, что использование ИИ-помощников в процессе обучения программированию может негативно сказаться на качестве усвоения материала у начинающих специалистов. Авторы описывают данный эффект как «never-skilling» — ситуацию, когда новичок не успевает развить полноценный навык, так как постоянно передает выполнение ключевых этапов работы искусственному интеллекту.
В рандомизированном контролируемом эксперименте участвовали 52 в основном начинающих разработчика. Половина участников была обеспечена ИИ-помощником, после чего обе группы должны были изучить библиотеку Trio для Python, с которой они ранее не работали. Сразу после выполнения задания участникам предложили проверить понимание использованных ими концепций.
Группа, использовавшая ИИ, в среднем ответила правильно на 50% вопросов, тогда как участники, кодировавшие самостоятельно, набрали 67%. Разница оказалась статистически значимой: вероятность случайного появления такого результата оценивалась значением p=0,01. При этом ИИ-помощник практически не дал преимущества по скорости: пользователи с ним завершали задания примерно на 2 минуты быстрее, но эта разница не была статистически значимой.
Наибольший разрыв проявился во время отладки программ. Участники без ИИ чаще сталкивались с ошибками и были вынуждены самостоятельно выявлять причины и вносить исправления — процесс, который считается важной частью формирования навыка программирования. Пользователи помощника чаще избегали этих этапов, так как система сразу предлагала решения, не заставляя разбираться в причинах проблемы.
Похожую проблему обозначили авторы обзора в журнале Nature Medicine, подготовленного специалистами Медицинской школы Duke-NUS совместно с учеными из Гарварда, Университетского колледжа Лондона и Королевского колледжа Лондона. Они указали на риск для медицинского образования: если начинающие врачи слишком рано начинают полагаться на ИИ, то они могут не развить необходимые навыки клинического мышления.
Учёные также выделили отдельный риск — «mis-skilling», когда специалист принимает ошибочный ответ ИИ за достоверную информацию и закрепляет неверное знание.
При этом авторы подчеркивают, что прямых доказательств такого эффекта именно в медицинском обучении пока нет. Их выводы основаны на теориях обучения и ранних данных из других областей, включая эксперимент Anthropic. Они предлагают трехступенчатый подход: сначала формировать базовые навыки без ИИ, затем учить правильно оценивать ответы системы и только после этого внедрять ИИ-инструменты под контролем наставников.
Исследование также показало, что результат зависит не только от самого использования ИИ, но и от подхода к работе с ним. Участники с лучшими результатами чаще задавали вопросы о принципах работы кода и просили объяснений, тогда как менее успешные пользователи полностью передавали задачи помощнику или использовали его исключительно для исправления ошибок. Авторы отмечают, что эксперимент имел ограничения: небольшую выборку, проверку знаний сразу после задания и использование обычного чат-помощника вместо более автономных ИИ-агентов. При этом они считают, что влияние более мощных систем может оказаться еще заметнее.
Darth SaharaИсточники:the next webИскусственный интеллект2Искусственный интеллектAnthropicПрограммированиеАвтоматизация труда07:22
ИсточникПоделись видео: