ИИ составляет вопросы для проверки знаний после прохождения курса
Исследователи из NC State и Carnegie Mellon University разработали модель ИИ, которая может генерировать вопросы для оценки пройденного курса, которые, по мнению преподавателей, неотличимы от вопросов, написанных человеком.
Новый ИИ называется QUADL, и он делает две вещи: определяет ключевые термины и идеи в учебных текстах, а затем составляет вопросы, которые фокусируются на этих терминах и идеях.
«Мы предоставляем QUADL содержание учебного курса и цели обучения, и QUADL может разработать вопросы, которые помогут студентам достичь этих целей», — говорит Нобору Мацуда, доцент кафедры информатики Университета штата Северная Каролина и соавтор статьи, посвященной этой работе.
«Люди хорошо умеют разрабатывать курсы, но в ходе интервью с преподавателями и разработчиками учебных программ мы обнаружили, что они часто испытывают трудности с разработкой вопросов, которые эффективно оценивают прогресс студентов в достижении целей обучения по этим курсам, — говорит Мачи Шиммей, аспирант NC State и первый автор работы. — Наше исследование показывает, что QUADL может быть полезным инструментом для преподавателей и разработчиков курсов».
Для проверки эффективности QUADL исследователи использовали существующее ПО для онлайн-курсов под названием Open Learning Initiative (OLI). Исследователи набрали пять преподавателей, которые используют OLI для своих занятий, и попросили их оценить длинный список вопросов. Часть вопросов были составлены QUADL, другая часть другой моделью ИИ Info-HCVAE, а некоторые вопросы уже использовались в курсах OLI. Участникам исследования не сообщили, откуда взялись вопросы, и попросили оценить педагогическую ценность каждого вопроса.
«Оценки педагогической ценности вопросов, созданных QUADL, были практически идентичны оценкам, которые преподаватели давали вопросам, написанным людьми для использования в OLI, — говорит Шиммей. — Вопросы, составленные Info-HCVAE, получили более низкие оценки от преподавателей».
Сейчас исследователи планируют провести исследования в студенческой аудитории, в ходе которых преподаватели будут использовать вопросы, составленные QUADL, чтобы увидеть, как вопросы, составленные QUADL, влияют на обучение студентов, и влияют ли вообще.
«Эта предстоящая работа должна замкнуть цикл этой технологии, — говорит Мацуда. — Гипотетически, QUADL должна работать. Теперь нам нужно посмотреть, будет ли она работать на практике».
QUADL является частью большого набора технологий ИИ, которые Мацуда и его коллеги разрабатывают под названием PASTEL. Все технологии PASTEL предназначены для облегчения разработки учебных курсов.
«Эти технологии занимаются всем, начиная от генерации вопросов — что является ролью QUADL — и заканчивая функциями контроля качества, используемыми для оценки того, насколько эффективно каждый элемент учебного материала помогает студентам учиться, — говорит Мацуда. — Мы ищем как партнеров-исследователей, которые помогут нам разработать эти генеративные технологии ИИ, так и партнеров-преподавателей, заинтересованных в использовании этих инструментов ИИ в своих курсах».
Статья «Machine-Generated Questions Attract Instructors when Acquainted with Learning Objectives» будет представлена на мероприятии International Conference on Artificial Intelligence in Education (AIED 2023), которое пройдет 3-7 июля в Токио, Япония. Соавтором статьи выступил Норман Бир из Университета Карнеги-Меллон.
Фото: Unsplash/Changbok Ko
Источник: robogeek.ru
