Печатать книгуПечатать книгу

Рекомендации по разработке тестов

Сайт: Единый образовательный портал Алтайского государственного университета
Курс: Главная страница
Книга: Рекомендации по разработке тестов
Напечатано:: Гость
Дата: Пятница, 20 Октябрь 2017, 23:06

1. Общие функции тестов

Массовое внедрение тестирования знаний в учебный процесс сформировало понимание необходимости создания и применения компьютерных систем тестирования знаний. Это обусловлено с одной стороны снижением трудоемкости при проведении тестирований по сравнению с традиционными методами бланкового тестирования, а с другой стороны повышением надежности и объективности результатов тестирования. Тестирование как одна из форм аттестации представляет собой процедуру, позволяющую объективно для каждого учащегося установить уровень: теоретических знаний, интеллектуальных умений, практических навыков. Тестирование используется на следующих этапах учебного процесса:

  • Входное тестирование в начале изучения дисциплины для определения исходного уровня и выдачи рекомендаций по траектории изучения материала.
  • Самотестирование учащихся по ходу изучения ими отдельных глав теоретического материала.
  • Тестирование перед началом выполнения лабораторных и практических работ с целью проверки наличия необходимых начальных теоретических знаний.
  • Тестирование знаний по итогам изучения главы (раздела) теоретического материала, результатам выполнения лабораторной работы.
  • Тестирование по итогам изучения дисциплины с целью получения оценки полученных знаний либо выдачи допуска на прохождение промежуточной аттестации в иной форме.

В общем случае тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной системы проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств, знаний или навыков личности, изменение которых возможно в процессе систематического обучения.

Тесты включают в себя вопросы, отражающие содержание дисциплины или ее части, которые выносятся на контроль. При составлении вопросов для тестирования необходимо придерживаться следующих правил:

  • в вопросе должна быть ясно выражена только одна мысль;
  • мысль, выраженная в вопросе, должна быть записана лаконично, но содержательно;
  • вопрос должен представлять важную часть пройденной темы;
  • вопрос по сложности должен быть доступен студенту, а по содержанию – соответствовать критериям будущей профессиональной деятельности студента или потребностям обучения по другим дисциплинам;
  • при формулировании вопросов и ответов следует исключать подсказки к правильным ответам;
  • задания в тесте следует располагать в порядке постепенного возрастания трудности, что способствует снижению эмоционального стресса в процессе тестирования.

2. Критерии отбора содержания тестовых заданий

Для получения максимальной эффективности от тестирования знаний в процессе изучения дисциплины рекомендуется использовать два вида тестов:

  • тест для самоконтроля (для каждого раздела или темы),
  • итоговый тест (для всей дисциплины в целом).

Вопросы для самоконтроля предполагают возможность просмотреть теоретический материал и проработать ошибки, допущенные при ответах на данные вопросы. Они предназначены для получения обучающимся адекватной оценки своих знаний. Для каждого раздела рекомендуется 10–15 вопросов.

Итоговый тест используется для проверки знаний обучающегося по завершении изучения всей дисциплины (аналог экзамена). Число тестовых вопросов для одного тестируемого должно составлять не менее 30 и зависит от сложности тестовых заданий.

Работа с тестовой системой начинается с подготовки базы вопросов. При использовании тестирования в учебном процессе важно помнить, что каждый вопрос не должен иметь многоцелевую направленность, он призван выявлять лишь один определенный аспект. Критериями отбора содержания тестового материала служат:

  • значимость. Этот принцип указывает на необходимость включить в тест только те элементы знания, которые можно отнести к наиболее важным и ключевым, без которых знания становятся неполными;
  • научная достоверность. Суть тестовых заданий заключается в том, что они требуют четкого, заранее известного преподавателям ответа. Все спорные точки зрения, вполне допустимые в науке, не рекомендуется включать в тестовые задания;
  • соответствие содержания теста уровню современного состояния науки. Этот принцип базируется на естественной необходимости подготовки специалистов и проверки их знаний на современном материале;
  • репрезентативность. Следует обращать внимание не только на включение значимых элементов, но и на полноту охвата пройденного материала;
  • возрастающая трудность учебного материала. Знание последующих элементов курса зависит от знания предыдущих учебных элементов, то есть дисциплину можно изучать только с самого начала и без пробелов;
  • вариативность содержания. По мере изменения содержания учебной дисциплины должно варьироваться и содержание теста;
  • системность содержания. Это означает, что подбор содержания и количества тестовых заданий должен отражать все разделы теоретических материалов соответственно трудоемкости по рабочей программе;
  • комплектность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только одной темы;
  • взаимосвязь содержания и формы. Содержание теста должно быть выражено в наилучшей, с точки зрения наглядности и обучающего потенциала, форме.

3. Рекомендации по подготовке тестовых заданий

При подготовке тестовых заданий, независимо от их вида, следует выполнять нижеперечисленные рекомендации:

  1. Содержание задания должно отвечать программным требованиям и отражать содержание обучения.
  2. Вопрос должен содержать одну законченную мысль.
  3. При составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все», «никогда».
  4. Вопрос должен быть четко сформулирован, при этом следует избегать слов «большой», «небольшой», «малый», «мало», «много», «меньше», «больше» и т.д.
  5. Стараться не использовать отрицание в основной части вопроса.
  6. Предпочтительно использовать длинный вопрос и короткий ответ.
  7. Сокращения в формулировках крайне нежелательны. Однако, если сокращение стало нарицательным (колхоз, ликбез, НАТО) или полунарицательным, т.е. более узнаваемым в сокращении, чем в полном расшифрованном виде (НЭП), то в этих случаях сокращения допустимы. Допустимы также сокращения в случаях, когда их расшифровка значительно увеличивает размер варианта ответа, например, ст. 213 УК РФ.
  8. Неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей, подсказок.
  9. Не следует задавать вопросы с подвохом (скорее всего в заблуждение будут введены наиболее способные или осведомленные обучающиеся).
  10. Все варианты ответов должны быть грамматически согласованы с основной частью задания, в любом случае следует использовать короткие, простые предложения, без зависимых или независимых оборотов.
  11. Ответ на поставленный вопрос не должен зависеть от предыдущих ответов.
  12. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре, общему количеству слов и правдоподобны.
  13. Если ставится вопрос количественного характера, то ответы к нему должны располагаться упорядоченно от меньшего к большему или наоборот; в том случае, если дистракторы представлены в виде слов, текста, их следует располагать в алфавитном порядке.
  14. Избегать использования вариантов ответов «ни один из перечисленных» и «все перечисленные».
  15. Избегать повторения вариантов ответов.
  16. Варианты ответов всегда должны соответствовать формулировке вопроса (падеж, время и пр., а главное – содержанию).
  17. Место правильного ответа не должно быть определено, а формироваться в случайном порядке.

4. Рекомендации по настройке тестов

При использовании вопросов закрытого типа очень важно не допустить возможности угадывания правильных ответов. При этом возникает проблема количества и содержания неправильных ответов, которые принято называть дистракторами. С одной стороны, дистракторы должны быть достаточно правдоподобными, чтобы тестируемый не мог интуитивно выбрать правильный ответ, а с другой стороны не должны провоцировать тестируемого на неправильный ответ. Ведь конечная цель тестирования – определить объективный уровень знаний обучаемого. Нецелесообразно строить вопросы по негативному принципу, т.е. предлагать тестируемому выбрать неправильный ответ из предложенных. Это обусловлено тем, что обычно обучение сводится к изучению и анализу правильных знаний, а неправильные знания не являются предметом изучения. При составлении вопросов первого вида (один правильный ответ) существенную роль играет количество дистракторов. При малом их количестве возрастает вероятность угадывания правильного ответа, а следовательно, уменьшается оцениваемый диапазон. При большом количестве дистракторов возрастает громоздкость вопроса и затраты времени на поиск правильного ответа. Оптимальными с количественной точки зрения являются m=4,5.

Для каждого вида тестовых заданий существуют рекомендации: что предпочтительно делать, а чего делать не рекомендуется. Ниже перечислены основные такие рекомендации:

  • не рекомендуется использовать вопросы c числом альтернатив меньше 4 и больше 8;
  • не рекомендуется использовать вопросы при одной правильной альтернативе;
  • при использовании вопросов с множественным выбором должно соблюдаться условие k < (m – 1), т.е., например, при общем числе альтернатив 5 число правильных альтернатив не должно превышать 3;
  • не рекомендуется использовать формулировки вопросов с отрицательными ответами;
  • в тексте вопроса на соответствие всегда следует указывать наименование понятий (столбцов) между которыми устанавливается соответствие;
  • в вопросах на соответствие не рекомендуется использовать в левом столбце больше 5 альтернатив, так как в этой ситуации число альтернатив правого столбца (с учетом m > 2*k) становится чрезмерно большим;
  • в вопросах открытого типа необходимо использовать принцип неотрицательности;
  • в формулировке вопроса открытого типа необходимо указывать, в какой языковой раскладке, в каком регистре, в каком падеже, в каком лице и т.д. необходимо вводить ответ;
  • для открытого типа не рекомендуется использовать больше трех окон ввода, если это не проверка правописания;
  • не рекомендуется использовать совместно в одном сеансе тестирования вопросы открытого и закрытого типа из-за существенной разницы в вероятностях угадывания правильных ответов.

В заключение надо отметить, что при разработке методов оценки знаний с помощью систем тестирования в вузах все чаще используется назначение весовых коэффициентов (индексов сложности) для всех тестовых заданий и вариантов ответов на конкретный вопрос. С помощью весовых коэффициентов определяется степень сложности вопроса по отношению к остальным вопросам, задается максимальное количество баллов, которое студент может получить при правильном ответе на вопрос и возможное общее количество баллов за весь ответ, т.е. в конечном счете устанавливается количественная и качественная (для установленной шкалы оценок) характеристика знаний.