Требования к составлению тестов

Требования к составлению тестов

Тест как измерительный инструмент состоит из системы заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. При разработке теста важную роль играет не только отбор содержания (знания, навыки и умения, которые будут контролироваться), но и формулирование заданий, направленных на проверку этого содержания, в специфической тестовой форме.

Задания в тестовой форме — это задания заданной трудности, имеющие одинаковую для всех испытуемых инструкцию и правильность расположения элементов, четко определенное место фиксации ответов, одинаковые правила оценивания. После апробации и статистической обработки результатов задание включается в тест и становится тестовым заданием.

Трудность задания определяется процентным соотношением правильно выполнивших данное задание к общему числу всех тестируемых. Например, трудность тестового задания 0,38 предполагает, что 38% из тех, кто выполнял тестовое задание, сделали это правильно.

Тестовое задание состоит из инструкции, текста задания и правильного ответа или схемы оценивания.

К форме тестовых заданий предъявляются некоторые общие требования.

Инструкция к тестовому заданию должна быть адекватна форме и содержанию заданий. Она содержит указания на то, что испытуемый должен сделать, каким образом он должен выполнять задание, где и какие пометки делать.

Для однотипных заданий может использоваться одна инструкция, которая помещается в начале данной группы заданий.

Текст задания представляет собой содержательное наполнение задания. Он может содержать стимулирующий материал в виде рисунка или текста. Текст задания может содержать вопрос или утверждение.

Правильный ответ или схема оценивания — обязательный компонент тестового задания. Для заданий на проверку умений письменной речи в качестве правильного ответа выступает схема оценивания, содержащая критерии оценивания письменного высказывания. Тестовое задание должно иметь однозначный правильный ответ. Это означает, что любой пользователь на основе сравнения ответа учащегося и правильного ответа или критериев оценивания может сделать однозначный вывод о том, выполнил данный ученик это задание верно или нет. Формулировка правильного ответа, схема оценивания должны быть ясными, недвусмысленными, чтобы при оценивании у проверяющего не могло возникнуть сомнения в правильности засчитываемого ответа. Только в этом случае можно обеспечить единство требований к тестируемым.

Рассмотрим различные формы тестовых заданий.

Задания закрытой формы (с выбором ответа) предполагают выбор ответа из нескольких предложенных вариантов. Варианты неправильных ответов называют дистракторами, отвлекающими ответами. Эти задания получили широкое распространение в практике массового тестирования. Основные преимущества заданий с выбором ответа связаны с быстротой тестирования, с простотой подсчета итоговых баллов учеников. Каждый верный ответ в таких заданиях оценивается, как правило, одним баллом, за неправильный ответ испытуемый получает 0 баллов. Суммирование всех баллов, полученных испытуемым, дает его «тестовый балл». К недостаткам заданий закрытой формы относят эффект угадывания правильного ответа, характерный для слабо подготовленных учащихся при ответах на наиболее трудные задания теста. Однако тесты с выбором ответа требуют не простой подстановки, а выбора, основанного на сознательном анализе предлагаемых вариантов ответа. Например, к прослушанному тексту предлагается ряд ответов-утверждений, только одно из которых наиболее точно передает содержание текста. Чтобы выполнить задание, учащийся должен прочитать все утверждения — варианты ответа и понять их содержание; сравнить содержание каждого из этих утверждений с содержанием прослушанного текста; сравнить данные для выбора утверждения и определить, какое из них наиболее точно передает содержание текста. Такой процесс выбора наиболее вероятного решения тестовой задачи на основе сознательного перебора вариантов, т. е. на основе логики рассуждения, обеспечивает развитие аналитического мышления учащихся.

К заданиям закрытой формы относят задания альтернативного выбора и задания множественного выбора.

Задания альтернативного выбора или задания с двумя вариантами ответов (vrai/faux, oui/non).

Задания подобного типа используются тогда, когда нужно оценить один элемент знаний или умений: например, проверить, в какой степени испытуемый понимает отдельные факты прослушанного или прочитанного текста. Для того чтобы проверить сложное умение понимать содержание текста в целом, необходимо разработать серию таких заданий (вопросов), каждое из которых направлено на проверку понимания отдельного факта, содержащегося в тексте.

Особенностью заданий альтернативного выбора является то, что вопрос должен формулироваться в форме утверждения, поскольку он предполагает согласие или несогласие, которое можно отнести к утверждению.

Недостатком заданий альтернативного выбора является высокая вероятность угадывания правильного ответа, что снижает надежность теста. Преодолеть этот недостаток можно с помощью увеличения количества заданий в тесте. Кроме того, для получения объективных результатов следует соблюдать ряд следующих рекомендаций.

— Использовать в задании утверждения, которые абсолютно правильны или неправильны, без пояснений и исключений. Необходимо избегать двусмысленных утверждений.

— В каждом задании предусматривать одну законченную мысль.

— Давать достаточный контекст, с тем чтобы выбор правильного ответа не зависел от специфических знаний, которые учащиеся имеют по данной проблеме.

— Утверждение формулировать так, чтобы оно не повторяло фразы из текста.

— Использовать чаще неправильные утверждения, чем правильные (но не более чем на 15%).

Задания этой формы используются для проверки умений чтения и аудирования.

Задания множественного выбора предполагают выбор одного (правильного) варианта ответа из нескольких предложенных.





Задания множественного выбора могут использоваться для проверки лексических навыков, грамматических навыков, умений чтения и аудирования.

подбор вариантов правдоподобных неправильных ответов представляет одну из основных трудностей для составителей тестов. Как правило, при отборе дистракторов составитель теста исходит из типичных трудностей, которые испытывают обучающиеся при усвоении контролируемого явления и которые проявляются в типичных и устойчивых ошибках. Отражая типичные ошибки, дистракторы способствуют естественному процессу, протекающему в уме у каждого использующего иностранный язык, когда из группы ассоциирующихся по какому-либо признаку языковых явлений он должен выбрать только одно в связи с заданной ситуацией. Для отбора правдоподобных дистракторов необходим тщательный анализ ошибок, порождающих их причины, изучение тех возможных ассоциаций, которые могут возникать при выполнении задания.

Разновидностью заданий множественного выбора являются также задания с выбором наиболее правильного ответа. Выполнение такого задания предполагает, что все остальные ответы тоже правильные, но в различной мере. Как правило, такие задания используют для проверки умения понимать основную мысль прочитанного или прослушанного текста. Например, «Выберите наиболее подходящий заголовок к тексту».

Задания на установление соответствия. Эта форма заданий направлена на установление соответствия между элементами двух или более множеств (списков, рядов).

К заданиям на установление соответствия предъявляются следующие требования:

— задание конструируется так, чтобы все его содержание можно было выразить в форме множеств;

— лучше, когда число дистракторов первого множества больше, чем число элементов второго множества, — принцип избыточности. По мнению тестологов, эффективность задания снижается при условии одинакового количества элементов в левом и правом столбце. Понятно, что последнее соответствие производится автоматически, благодаря уже выполненному «исключению» элементов;

— все дистракторы должны быть равновероятными, правдоподобными;

— все элементы столбцов (рядов) должны выбираться по одному основанию — принцип гомогенности; все элементы столбца (ряда) могут иметь общее название, например: «тематические рубрики», «тексты из газет»;

— все задания необходимо располагать на одной странице контрольных материалов, без переноса отдельных частей, что может увеличить время выполнения заданий.

При оценивании подобных заданий за каждое правильно установленное соответствие назначается один балл.

Задания на установление соответствия используются, как правило, в тестах по лексике, фонетике, грамматике, чтению, аудированию.

Задания на установление правильной последовательности направлены на проверку качества выполнения речемыслительных операций, действий, на установление логики развития сюжета, событий. В задании в произвольном, случайном порядке приводятся элементы, связанные с определенной задачей.

В инструкции к заданиям этой формы указывается на расположение в последовательности упорядочиваемых элементов на специальной строке, как в предыдущем задании, либо на расстановку номера непосредственно слева от перечисленных элементов согласно критерию. Задания на установление правильной последовательности часто используются для проверки умения понимать логику прослушанного или прочитанного текста.

Рассмотренные нами формы тестовых заданий основаны на узнавании учебного материала. Вместе с тем умение узнавать составляет лишь первую ступень усвоения (и контроля), за узнаванием следует воспроизведение (репродукция) и творческое применение (продукция), сформированность которых может быть проверена с помощью заданий на конструирование ответа, т. е. с помощью заданий открытой формы.

Задания открытой формы предполагают самостоятельное конструирование ответа без опоры на предложенные варианты. К ним относятся задания двух видов: задания на дополнение или подстановку пропущенного слова, словоформы, словосочетания или фразы (т. е. задания с кратким ответом) и задания со свободно конструируемым ответом по заданной ситуации (т. е. задания с развернутым ответом).

В заданиях с кратким ответом от тестируемого требуется закончить предложение, вписать вместо многоточия правильный ответ. В подобных заданиях ответ должен быть однозначным. Для этого учащимся предлагается связный текст, в котором вместо пропуска нужно вставить только одно слово или словосочетание, выбор которого определяется вербальным контекстом.

Это задание направлено на проверку лексико-грамматических навыков. К заданиям с кратким ответом предъявляются следующие требования:

— каждое задание должно быть нацелено на одно дополнение, место которого обозначается точками или прочерком;

— для заполнения пропуска отбирается наиболее важная информация, то, знание чего нужно проверить;

— использование такой формы задания предполагает наличие эталона, в качестве которого выступает правильный ответ.

Задания с развернутым ответом используются для проверки коммуникативных умений письменной речи и говорения. В этих заданиях тестируемый конструирует свой ответ в соответствии с четко описанной тестовой ситуацией.

Выполнение таких заданий требует от испытуемого демонстрации различных умений. Это положительная сторона заданий. Однако при этом возникают проблемы в измерении и оценивании. Из-за разнообразия привлекаемых умений объекты контроля укрупняются, становятся трудно измеримыми, в оценке появляются элементы субъективизма. Задания с развернутым ответом обычно оцениваются по специально разработанным критериям. Ответы учащихся дифференцируются по степени правильности решения коммуникативной задачи, по количеству ошибок, по оформлению и т. п. С другой стороны, в этих заданиях исключается вероятность угадывания. Тем самым повышается качество измерения.

Сравнительный анализ различных форм тестовых заданий позволяет сделать вывод о том, что при разработке тестов по иностранному языку, целью обучения которому является формирование коммуникативной компетенции в совокупности составляющих ее знаний, языковых навыков и речевых умений, необходимо адекватное сочетание при обучении и контроле разных форм тестовых заданий. Преимущество при этом остается за заданиями открытой формы.