Исследователи Дениз Озтюрк, Ясита Раджапакша, Шиян Цзян и их коллеги из Университета штата Северная Каролина, Пенсильванского университета и Университета Кеннесо провели эксперимент со 115 учащимися в возрасте от 7 до 18 лет. Школьники использовали обучающую среду LUMI и ее модификацию ToyTalk, чтобы собрать 119 собственных диалоговых моделей. Они настраивали характер программы, цели, правила общения и четыре шкалы поведения: уверенность формулировок, прозрачность рассуждений, формальность языка и настойчивость в споре.
В обучающую платформу встроили механизм искусственных ошибок. Если ребенок задавал размытые правила или слабые ограничения, система переписывала ответ модели: формулировка оставалась гладкой и связной, но содержала выдуманный факт. Авторы отслеживали каждое изменение настроек, записывали диалоги тестирования и анализировали интервью школьников, проверяя критерии доверия детей к созданным системам.
Исполнение инструкции против фактической правды
Подростки в возрасте от 10 до 13 лет создали 34 чат-бота для развлечения, и 10 из них намеренно запрограммировали выдавать ложные ответы или бессмыслицу. Один из участников прямо прописал инструкцию: намеренно ошибаться и ни при каких условиях не признавать неправоту. При последующем тестировании ученики назвали эти программы заслуживающими доверия. Дети объяснили такую оценку тем, что бот точно выполняет поставленную перед ним задачу: его создали говорить неправду, и он устойчиво держит эту линию.
Младшие участники от 7 до 13 лет стабильно выставляли шкалу уверенности бота на максимальные значения и связывали надежность с доброжелательным тоном. Старшеклассники от 14 до 18 лет опирались на прозрачность: они сочли надежным только того помощника, который прямо признает нехватку данных, указывает ссылки на книги и демонстрирует ход своих рассуждений.
Разделение учебных задач и развлечений
Участники меняли параметры чат-бота в зависимости от области его применения. В подгруппе из 23 школьников, которые разработали одновременно учебных и развлекательных ботов, учебные помощники получили более высокую планку формальности и прозрачности. Школьники потратили 31,1% всех правок конфигурации на раздел правил и инструкций, стремясь ограничить модель рамками школьной программы.
Автоматический аудит ответов выявил системную проблему языковых моделей. Бот успешно удерживал формальные запреты и заданный тон общения, но удерживал общую цель только в 45% сообщений. Хобби-боты учеников средней школы показали самую низкую точность следования задумке авторов, набрав в среднем 2,56 балла из 4 возможных.
Методологические ограничения работы
В исследовании отсутствует контрольная группа, которая проходила бы курс цифровой грамотности без создания чат-ботов. Условия обучения трех возрастных групп различались: младшие школьники занимались очно в течение трех недель, средняя группа проходила двухдневный интенсив, а старшеклассники учились дистанционно шесть недель. Выборка старших школьников составила 15 человек, поэтому авторы называют возрастные сопоставления предварительными гипотезами для последующих контролируемых тестов.
