При использовании вопросов закрытого типа очень важно не допустить возможности угадывания правильных ответов. При этом возникает проблема количества и содержания неправильных ответов, которые принято называть дистракторами. С одной стороны, дистракторы должны быть достаточно правдоподобными, чтобы тестируемый не мог интуитивно выбрать правильный ответ, а с другой стороны не должны провоцировать тестируемого на неправильный ответ. Ведь конечная цель тестирования – определить объективный уровень знаний обучаемого. Нецелесообразно строить вопросы по негативному принципу, т.е. предлагать тестируемому выбрать неправильный ответ из предложенных. Это обусловлено тем, что обычно обучение сводится к изучению и анализу правильных знаний, а неправильные знания не являются предметом изучения. При составлении вопросов первого вида (один правильный ответ) существенную роль играет количество дистракторов. При малом их количестве возрастает вероятность угадывания правильного ответа, а следовательно, уменьшается оцениваемый диапазон. При большом количестве дистракторов возрастает громоздкость вопроса и затраты времени на поиск правильного ответа. Оптимальными с количественной точки зрения являются .

Для каждого вида тестовых заданий существуют рекомендации: что предпочтительно делать, а чего делать не рекомендуется. Ниже перечислены основные такие рекомендации:

• не рекомендуется использовать вопросы c числом альтернатив меньше 4 и больше 8;
• не рекомендуется использовать вопросы при одной правильной альтернативе;
• при использовании вопросов с множественным выбором должно соблюдаться условие , т.е., например, при общем числе альтернатив 5 число правильных альтернатив не должно превышать 3;
• не рекомендуется использовать формулировки вопросов с отрицательными ответами;
• в тексте вопроса на соответствие всегда следует указывать наименование понятий (столбцов) между которыми устанавливается соответствие;
• в вопросах на соответствие не рекомендуется использовать в левом столбце больше 5 альтернатив, так как в этой ситуации число альтернатив правого столбца (с учетом ) становится чрезмерно большим;
• в вопросах открытого типа необходимо использовать принцип неотрицательности;
• в формулировке вопроса открытого типа необходимо указывать, в какой языковой раскладке, в каком регистре, в каком падеже, в каком лице и т.д. необходимо вводить ответ;
• для открытого типа не рекомендуется использовать больше трех окон ввода, если это не проверка правописания;
• не рекомендуется использовать совместно в одном сеансе тестирования вопросы открытого и закрытого типа из-за существенной разницы в вероятностях угадывания правильных ответов.

В заключение надо отметить, что при разработке методов оценки знаний с помощью систем тестирования в вузах все чаще используется назначение весовых коэффициентов (индексов сложности) для всех тестовых заданий и вариантов ответов на конкретный вопрос. С помощью весовых коэффициентов определяется степень сложности вопроса по отношению к остальным вопросам, задается максимальное количество баллов, которое студент может получить при правильном ответе на вопрос и возможное общее количество баллов за весь ответ, т.е. в конечном счете устанавливается количественная и качественная (для установленной шкалы оценок) характеристика знаний.