Интерактивные задания с автоматизированной проверкой — важная часть онлайн-курса, которая отличает качественный онлайн-курс от простого набора видеозаписей. В онлайн-курсе студенты должны тратить на выполнение практических заданий не меньше времени, чем на изучение теории. На Stepik создано более 20 различных типов заданий с автоматической или ручной проверкой, просим вас их использовать.
Тестовые задачи
- Тест — выбор одного или нескольких вариантов ответа. Доступные функции: любой ответ правильный, перемещение ответов, показ ограниченного числа ответов (например, 5 из возможных 15), показ подсказки, исходя из того, какие варианты выбраны или не выбраны студентами.
- Задача на сортировку — составляется список, который студенты должны сортировать. В этом задании важно сразу в условии указать, в каком порядке происходит сортировка, сверху вниз или наоборот.
- Задача на сопоставление — создается два списка, которые студенты должны сопоставить друг с другом. Ответы сопоставляются именно парами, однако часть ответов можно оставить пустыми и применять тип задания не только для нахождения пар.
- Табличная задача — студентам предлагается отметить верные ячейки в таблице. Может быть одиночный или множественный выбор вариантов, вы можете задать перестановку строк и столбцов или любой ответ считать правильным.
Задачи с вводом ответа
- Пропуски — студенты заполняют пропуски в тексте (через ввод с клавиатуры или выпадающий список). От преподавателя нужно ввести текст и места для пропусков, а также указать правильный ответ и способы ввода. В настройках можно указать, будет ли студентам видно, в каких именно пропусках они допустили ошибки.
- Численная задача — студентам нужно ввести число, которое будет проверяться по правильному ответу и с учетом указанной вами погрешности.
- Математическая задача — студенты вводят математическую формулу, которая проверяется на эквивалентность правильной формуле. Мы используем в этом типе заданий библиотеку sympy.
- Задача со случайной генерацией условия — задача, в условии которой для разных студентов будут меняться цифры.
- Текстовая задача — студентам предлагается написать текст (или строки), которые затем проверяются по вашему шаблону. Можно указать учет регистра букв. Можно воспользоваться функциями solve() и check(reply) и выдавать обратную связь в зависимости от введенного ответа студентом.
- Свободный ответ — любой ответ студента будет считаться правильным. Хорошо подходит для написания описательных текстов, эссе. К этой задаче можно добавить рецензирование.
Сложные задачи
- Задача на программирование — студенты пишут программы на разных языках программирования, которые проверяются на созданных вами тестах (от 1 до 100). К этой задаче можно добавить рецензирование.
- Задача с SQL — в задачах проверяются SQL запросы от студентов.
- Задача на данные — студенты скачивают и обрабатывают созданный вами набор данных за отведённое время.
- Задача на HTML и CSS — студентам нужно написать структуру и стиль html документа.
- Задача на Linux — студенты получают доступ к удалённому серверу, где решают задачи в терминале. При использовании этой задачи рекомендуйте студентам наши советы по решению возникающих проблем с терминалами (доступно только в тарифе Enterprise).
Экспериментальные задания
- Оценка преподавателя — на Stepik есть возможность создать шаг, в котором сам преподаватель назначает оценки учащимся. Для этого нужно создать шаг, установить в нём максимальное число баллов, загрузить в шаг оценки в файле в формате csv, где есть три поля: ID пользователей, процент от максимальной суммы баллов, которые он получит, комментарий, который увидит пользователь. Обратите внимание: если Вы загружаете сначала одну таблицу с оценками, а потом другую, то пользователи присутствующие в обеих таблицах получают те оценки, что выставлены в новом варианте (доступно в тарифах Paid и Enterprise).
- External Grader — решение проверяется внешним сервисом, который настраивает сам преподаватель (доступно только в тарифе Enterprise).
- LTI consumer — задания проверяются через LTI provide (доступно только в тарифе Enterprise).
- Задача с JetBrains IDE — студенты решают задачи, используя продукты JetBrains (например, PyCharm Educational Edition). Про интеграцию со Stepik можно подробнее прочитать здесь.
При составлении задания пользуйтесь также нашими рекомендациями.
Составление заданий с рецензированием
Что такое рецензирование
Рецензирование — проверка заданий вручную по заданным критериям оценки. Обычно проверяются эссе, написанные в свободной форме, или задачи на программирование, которые невозможно проверять автоматически. Рецензирование не является отдельным типом шага, а добавляется к любой существующей задаче. Наиболее популярные типы задач для рецензирования:
- Свободный ответ (творческие эссе, доказательства теорем и т.п.);
- Задачи на программирование (code review с предварительной формальной проверкой).
Чтобы добавить рецензирование, необходимо выбрать один из этих вариантов задач и нажать «Добавить рецензирование» (в «Настройках шага»):
После добавления рецензирования внизу настроек практического шага появится раздел «Правила рецензирования»:
Как только вы получите хотя бы один ответ на рецензию, изменить можно будет только поля «Дополнительная информация» и поле описания «Критерий оценки», но не вид рецензирования, количество максимальных баллов по критериям и число обязательных рецензий.
Также обратите внимание, что шаг с рецензированием нельзя скачать и затем импортировать в другой шаг с сохранением всех прописанных условий.
Виды рецензирования
Рецензирование может проводиться самим преподавателем (преподаватель проверяет каждую работу и ставит оценку за неё) или другими учащимися курса (кросс-рецензирование).
Рецензирование преподавателем
- Преподаватель может перейти к рецензированию со страницы задания. Чтобы приступить к проверке ответов, нужно нажать на кнопку «Рецензировать»:
- На странице сессии рецензирования отображена информация об учащемся, условие задачи, решение учащегося и критерии оценки. Преподаватель может выставить балл, объяснить оценку и оставить общий комментарий. После того как рецензия будет отправлена, откроется следующая;
- К списку всех решений можно перейти по ссылке «Решения» в шаге задания или из вкладки «Проверка решений», где есть список всех шагов с непроверенными решениями:
Кросс-рецензирование
Схема работы кросс-рецензирования следующая:
- Учащийся решает задание (пишет эссе) и сохраняет его в систему;
- Учащийся посылает решение на рецензирование;
- Другие учащиеся проверяют его решение по заданным критериям;
- Учащийся проверяет 3 чужих решения по заданным критериям;
- Учащийся получает оценку (равную медиане от 3-х полученных им рецензий).
Правила выставления баллов и получения оценок:
- Преподаватель указывает число баллов, которые можно получить за весь шаг;
- Преподаватель устанавливает баллы по каждому заданному критерию;
- Учащийся получает оценку по критериям равную медиане от трех полученных рецензий. Если получено много рецензий, берётся медиана от первых трёх (если три — это указанное обязательное количество рецензий);
- Учащийся получает итоговую оценку за весь шаг, которая рассчитывается в процентном соотношении от максимального количества баллов за шаг.
Пример. Есть шаг с рецензированием, где общий балл = 2, но сумма баллов за все критерии = 10. Если студент получает три рецензии, где его оценили на 6, 7 и 8, то сначала он получает оценку за эссе равную 7 (медиана чисел 6, 7, 8), что составляет 70% от максимальных 10 баллов за критерии. Итоговая оценка за шаг будет равна 70% от 2, т.е. 1,4.
Возможные проблемы с рецензированием
В процессе рецензирования учащиеся сообщают о таких проблемах:
- Проблемы технические и зависят от платформы: не видно ответ, не получается нажать на кнопку и т.д. При таких проблемах отправьте нам запрос через форму обратной связи.
- Проблемы по содержанию рецензий: не нравится оценка, учащимся кажется, что их несправедливо оценили, плагиат и т.д. Эти вопросы можете решать только Вы, так как только Вы знаете содержание правильного ответа и как можно оценить ответ. Вы можете посмотреть все ответы, все рецензии и, если считаете нужным, исправить оценку.
- Иногда учащиеся забывают прикрепить ответ, прикрепляют не в том формате и его невозможно открыть, отправляют не тот ответ, хотят переделать ответ. Такие проблемы решить нельзя, ни вы, ни мы не можем удалить какое-то решение и отправить другое решение.
Обратите внимание, что рецензирование с проверкой только преподавателями доступно для платных и Enterprise-курсов. Для бесплатных курсов доступно только кросс-рецензирование.
Рекомендации по составлению заданий
Общие рекомендации по заданиям
- Максимально конкретно прописывать условия каждой задачи и давать дополнительные пояснения;
- Тщательно подбирать уровень сложности задач. Уровень сложности должен гарантировать то, что студент, успешно выполнивший все задания, владеет темой курса. Задания в начале курса не должны быть сразу сложными, следует учитывать указанные в описании курса требования к знаниям слушателям;
- Не перегружать уроки однотипными заданиями;
- Использовать дополнительные опции при создании задач, о них будет ниже.
Рекомендации к тексту задания
- Задания должны быть связаны с учебными целями, т.е. со знаниями и навыками, которыми должен обладать учащийся после окончания курса;
- Текст задания должен исключать всякую двусмысленность и неясность формулировок;
- Текст задания формулируется предельно кратко, но без ущерба для понимания;
- Используемая в заданиях терминология не должна выходить за рамки курса;
- Если задание содержит отрицание, то частицу НЕ или слово, выражающее отрицание, необходимо выделить (например, заглавными буквами или жирным текстом с подчеркиванием);
- Текст задания должен исключать сложные синтаксические обороты, в том числе, двойное отрицание;
- В тексте задания не используются слова, которые могут вызвать различное понимание учащихся, а также слова «иногда», «часто», «всегда», «все», «никогда».
Рекомендации к ответам на задания
- По возможности, не следует делать текст ответов длинным;
- Из ответов, как правило, исключаются все повторяющиеся слова путем ввода их в основной текст задания;
- Все ответы должны быть похожими как по внешнему виду, так и по грамматической структуре;
- Все ответы должны быть грамматически согласованными с основной частью задания;
- Ответы должны быть примерно равны по длине: не следует формулировать правильный ответ заметно длиннее или короче, чем неправильные;
- Одно и то же слово (или словосочетание, или однокоренное слово) не должно находиться и в тексте задания, и в правильном ответе;
- Каждый неправильный ответ должен быть правдоподобным, внушающим доверие и убедительным для учащихся;
- В неправильных ответах не следует использовать слова или термины, которые учащийся не может или не должен знать, в том числе, не относящиеся к содержанию курса;
- Исключаются ответы, вытекающие один из другого или дополняющие друг друга;
- Если ответы выражены в виде чисел, то рекомендуется располагать эти числа от меньшего к большему или наоборот;
- В задании на выбор нескольких правильных ответов не должны быть все ответы правильные или только один правильный (учащиеся ожидают два и более правильных ответа, но не все из них).
Тест
В этом шаге пользователь должен выбрать один или несколько вариантов ответа. Это самый распространённый тип шага с заданием.
Доступные настройки
Количество правильных ответов:
- Для создания теста с одним вариантом ответа нужно выбрать «Один»;
- Для создания теста с несколькими вариантами ответа нужно выбрать «Несколько».
Дополнительные параметры:
- Любой ответ верный: если выбран этот параметр, то любой ответ считается правильным (актуально для опросов).
- Не перемешивать ответы: если выбран этот параметр, то порядок ответов будет фиксирован.
- HTML: если выбран этот параметр, то в ответах можно использовать разметку HTML. Пример использования HTML есть в этом шаге
- Размер выборки из вариантов ответа: в этом поле нужно указать, как много вариантов ответа будет видеть пользователь.
Например, у вас может быть 9 вариантов ответа, но пользователь будет видеть только 4 из них, если размер выборки ограничен четырьмя. Варианты будут показываться в случайном порядке и каждый раз будут выбраны разные. - Показать объяснения: вы можете написать объяснение или комментарий для каждого варианта ответа. Для этого нажмите «Показать объяснения» и введите текст комментария в строку соответствующую варианту ответа:
Обратите внимание, объяснения показывается для всех вариантов ответа, которые выбраны или не выбраны неправильно. Другими словами, комментарий к варианту будет показан, если:
- Вариант был неверным и пользователь его выбрал;
- Вариант был верным и пользователь его не выбрал;
Это может быть не интуитивно понятно поначалу, но вы быстро привыкнете 🙂
- Объяснение рядом с ответом: если выбрано, каждое объяснение будет отображаться рядом с соответствующим вариантом ответа:
В противном случае они будут показаны все вместе сверху над всеми вариантами ответов:
Посмотреть, как работают объяснения, можно в этом шаге.
Помимо комментария к каждому ответу, можно написать комментарий ко всему заданию, в случае, если оно решено верно или неверно. Про это, ограничение числа попыток и доступ к решениям см. Дополнительные настройки.
Задача на сортировку
В данном типе задач составляется список, который пользователь должен сортировать. В этом задании важно сразу в условии указать порядок сортировки.
Доступные настройки
HTML: если выбрано, можно использовать разметку HTML при написании ответов.
Для задания можно написать комментарий, в случае, если оно решено верно или неверно. Про это, ограничение числа попыток и доступ к решениям см. Дополнительные настройки.
Табличная задача
В этом типе задач пользователю предлагается отметить верные ячейки в таблице. Может быть одиночный или множественный выбор вариантов, можно задать перестановку строк и столбцов или любой ответ считать правильным.
Доступные настройки
Тип кнопки:
- Single choice per row – пользователь может выбрать один вариант из столбца в каждой строке. Ячейка показана как переключатель –
- Multiple choices per row – пользователь может выбрать более одного варианта из столбца в каждой строке. Ячейка показана как чек-бокс –
Дополнительные параметры:
- Перемешивать порядок рядов: если выбрано, то порядок рядов меняется;
- Перемешивать порядок колонок: если выбрано, то порядок колонок меняется;
- Любой ответ верный: если выбрано, любой ответ считается правильным (актуально для опросов).
Для задания можно написать комментарий, в случае, если оно решено верно или неверно. Про это, ограничение числа попыток и доступ к решениям см. Дополнительные настройки.
Задача на пропуски
В этом типе шага пользователь заполняет пропуски в тексте (через ввод с клавиатуры или выпадающий список).
Доступные настройки
Поле «Text»: в этом поле указывается текст, который будет идти непосредственно перед пропуском. Указанный текст и пропуск по умолчанию располагаются на одной строке.
Меню «Тип пропуска»: в этом выпадающем списке необходимо выбрать тип ввода ответа пользователем: «Ввод текста» – ответ вводится с клавиатуры, «Выбор» – ответ выбирается из выпадающего списка.
Добавить правильные ответы: в этом разделе необходимо ввести верные ответы, их количество неограниченно. Если тип пропуска «Ввод ответа», то ответ пользователя будет сравниваться с введенными в этом разделе ответами. Если тип пропуска «Выбор», то добавленные верные ответы будут отображаться в виде выпадающего списка, из которого пользователь будет выбирать вариант ответ.
Чтобы добавить вариант ответа, нужно нажать на зеленый крестик.
Добавить текст/пропуск:
Чтобы добавить блок с текстом или еще один пропуск нажмите «Добавить текст» или «Добавить пропуск». По умолчанию новый текст и новый пропуск будут располагаться друг за другом на одной строке. Пример:
Если вы хотите, чтобы блок текста или пропуск располагались на новой строке, используйте тег <br>
, который устанавливает перевод строки в том месте, где этот тег находится.
Поставьте тег перед текстом, если хотите, чтобы текст и пробел располагались на новой строке:
Результат:
Чтобы пробелы располагались друг под другом без текста, добавьте между ними поле «Text», но введите в него только тег <br>
.
Управление блоками: чтобы изменить положение (сдвинуть вверх или вниз), а также удалить блоки текста и пропусков, используйте соответствующие кнопки в верхнем правом углу каждого блока.
Дополнительные параметры:
- Регистр должен совпадать: регулирует точность совпадения введенного ответа с заданным правильным ответом;
- Детализировать фидбек учащимся (показывать верные и ошибочные ячейки): подсвечивает для учащихся верные и неверные ответы: красным крестом отмечаются неверно заполненные пропуски, зеленой галочкой – верные.
- Оценка зависит от количества верных ячеек: позволяет начислить учащемуся частичный балл в зависимости от того, как много пропусков он заполнил верно.
Если в вашем задании больше трех пропусков, или вы предполагаете, что задание может вызвать вопросы, обязательно используйте детализацию фидбека учащимся и частичный балл. Это поможет сохранить мотивацию учащихся при выполнении сложного задания.
Задание с включенными параметрами «Детализировать фидбек учащимся» и «Оценка зависит от количества верных ячеек» выглядит следующим образом:
Для задания можно написать комментарий, в случае если оно решено верно или неверно. Про это, ограничение числа попыток и доступ к решениям см. Дополнительные настройки
Численная задача
В данном типе задач в качестве ответа необходимо ввести десятичное число с заданной точностью. Любой из указанных вариантов ответа ± допустимая погрешность будет засчитан как правильный.
Использовать этот тип заданий имеет смысл для вычислительных задач или для задач, где ответ может быть дан с разной точностью. Если ответ – целое постоянное число, можно использовать обычную текстовую задачу.
Доступные настройки
Правильный ответ: в это поле необходимо ввести верный ответ, это может быть целое или десятизначное число (в качестве десятичного разделителя можно использовать как точку, так и запятую).
Допустимая погрешность: любой из указанных вариантов ответа ± допустимая погрешность будет засчитан как правильный.
Добавить/удалить правильный ответ: используйте, если в задаче несколько ответов, которые нельзя задать с помощью погрешности.
Для задания можно написать комментарий, в случае если оно решено верно или неверно. Про это, ограничение числа попыток и доступ к решениям см. Дополнительные настройки.
Математическая задача
В данном типе задачи пользователь вводит математическую формулу, которая проверяется на эквивалентность правильной формуле.
Доступные настройки
Правильный ответ: в это поле необходимо ввести математическое выражение.
Для записи верного ответа и для ответа учащихся в этом задании используется библиотека sympy.
Поддерживаемые функции – http://docs.sympy.org/latest/modules/functions/index.html#contents.
Примеры ответов:
\frac{1}{3}: 1 / 3
\sqrt{42}: sqrt(42)
e^{i\pi} + 1: E^(I*pi) + 1
\cos{2 \pi t}: cos(2*pi*t)
Можно также использовать строгие и нестрогие неравенства: <
, >
, <=
, >=
, например, x >= sqrt(2)
.
Примечания:
- Умножение должно быть обозначено явно:
2*x
вместо2x
; - Можно набирать формулу с пробелами или без них;
- Для успешного выполнения заданий этого типа учащиеся должны знать библиотеку sympy или иметь рекомендации для оформления ответа.
В задании нельзя:
- Написать несколько формул подряд;
- Использовать знак равенства без
<
и>
.
Для задания можно написать комментарий, в случае если оно решено верно или неверно. Про это, ограничение числа попыток и доступ к решениям см. Дополнительные настройки.
Задача со случайной генерацией условия
В этом типе заданий для разных пользователей будут меняться цифры в условии. Можно использовать для задач по математике и физике, если вы хотите предотвратить списывание.
Доступные настройки
Задание: в это поле введите текст задачи/вопроса. Величины, значение которых должно изменяться, запишите как \имя.
Решение: в этом поле введите формулу, по которой будет вычисляться ответ. Можно использовать библиотеку sympy. Ориентируйтесь на рекомендации для математической задачи — https://stepik.org/lesson/385341/step/1.
Допустимая погрешность: в этом поле укажите погрешность.
Каждый раз, когда вы прописываете в поле «Задание» величину (\имя), для нее создается три поля: From, To и Step. В этих полях необходимо указать диапазон, из которого будет выбираться случайное значение:
Примечания:
- Даже если число в задании целое, оно все равно будет показываться в задании как «4.0», «5.0»;
- Количество разных вариантов будет автоматически подсчитано и указано в задании над полями From, To и Step.
Для задания можно написать комментарий, в случае если оно решено верно или неверно. Про это, ограничение числа попыток и доступ к решениям см. Дополнительные настройки.
Текстовая задача
В этом типе задач пользователю предлагается написать число, слово или текст, которые затем проверяются по шаблону, заданному автором задания.
Доступные настройки
Верный ответ: в это поле необходимо ввести верный ответ. Это может быть число, слово или строка.
Настройка проверки ответов: введённый пользователем ответ может сверяться с верным ответом несколькими способами.
- Сверка по фрагменту: если часть ответа учащегося содержит верный ответ, то он будет засчитан как верный.
- Проверка по регулярному выражению: можно усложнить проверку, используя регулярные выражения. Например, можно добавить больше одного верного ответа. См. пример задания — https://stepik.org/lesson/385342/step/3.
- Различать прописные и заглавные буквы: позволяет учитывать регистр букв.
Тип ответа: ответ может вводиться в поле ответа и/или проверяться из файла.
Дополнительные настройки: ответ может проверяться с помощью кода на Python. Если вы укажете проверяющий код, все предыдущие настройки применяться не будут. Решения будут оцениваться на основании результата функции check(reply)
. Можно также воспользоваться функциями solve() и check(reply) и выдавать обратную связь в зависимости от введенного ответа студентом.
Примечание:
- Если в ответе есть пробелы, то следите, чтобы в поле «Верный ответ» не были введены неразрывные пробелы. Они учитываются при проверке.
Для задания можно написать комментарий, в случае если оно решено верно или неверно. Про это, ограничение числа попыток и доступ к решениям см. Дополнительные настройки.
Пример текстовой задачи с проверкой по регулярному выражению
Вы можете использовать регулярные выражения в поле «Верный ответ». Например, чтобы сделать два варианта верного ответа, разделите их символом «|».
Добавьте несколько вариантов написания одного ответа, если вы беспокоитесь, что учащиеся могут ввести ответ несколькими способами.