Лекция 4. Применение компьютерных программ тестирования знаний обучающихся
Проблема тестирования знаний обучающихся существует в педагогике уже многие десятилетия. Одной из линий синтеза педагогической диагностики является связь с математическими методами и информационными технологиями.
Несмотря на обилие тестов по различным дисциплинам, создание системы диагностирования по конкретному предмету является в каждом случае актуальной задачей. Развитие принципиально новой системы коммуникаций, основанной на информационных и коммуникационных технологиях, позволяет существенно изменить подход к конструированию систем тестирования по любому предмету обучения.
В последние годы компьютеры и компьютерные информационные технологии активно входят в нашу жизнь. Компьютер сегодня – это мощнейший инструмент получения и обработки информации, возможности компьютерных и сетевых технологий, их быстродействие с каждым годом все больше прогрессирует. Поэтому совершенно естественно внедрение этих средств в современный учебный процесс.
4.1. Основы теории тестирования
Тестирование является одной из форм массового контроля знаний студентов, который осуществляет преподаватель после изучения ими всей программы учебной дисциплины. Экзамен в форме тестирования обладает целым рядом преимуществ перед традиционной формой экзамена-диалога "преподаватель-студент". Особенность экзамена в форме тестирования – жесткий временный контроль. Поэтому при подготовке к тестированию необходимо уделить внимание психологическому настрою, тренировке решения мини-задач или ответов на мини-вопросы с контролем времени.
4.2. Преимущества тестирования
Объективность. Исключается фактор субъективного подхода со стороны экзаменатора. Обработка результатов теста проводится через компьютер или в присутствии студентов с использованием карты ответов.
Валидность. Исключается фактор "лотереи" обычного экзамена, на котором может достаться "несчастливый билет" или задача – большое количество заданий теста охватывает весь объем материала того или иного предмета, что позволяет тестируемому шире проявить свой кругозор и не "провалиться" из-за случайного пробела в знаниях.
Простота. Тестовые вопросы конкретнее и лаконичнее обычных экзаменационных билетов и задач и не требует развернутого ответа или обоснования – достаточно выбрать правильный ответ и установить соответствие.
Демократичность. Все тестируемые находятся в равных условиях.
Массовость и кратковременность. Возможность за определенный установлений промежуток времени охватить итоговым контролем большое количество тестируемых.
Технологичность. Проведение экзамена в форме тестирования как при машинном, так и безмашинном контроле весьма технологично, так как позволяет использовать соответственно машинную обработку или листки (карточки) ответов.
4.3. Недостатки тестирования
Относительная трудность создания хорошего теста, проверенного эмпирически, имеющего устойчивые коэффициенты надежности и валидности.
Возможность угадывания ответов при использовании закрытой (без показа правильных вариантов ответов) формы тестовых заданий.
Необходимость создания и приобретения дорогостоящих технических средств для использования тестов при машинном контроле.
4.4. Определение теста
Тест – система заданий специфической формы, возрастающей трудности, позволяющая качественно оценить структуру знаний и эффективно измерить уровень подготовленности студентов.
Научно-обоснованный тест – это метод контроля, соответствующий установленным стандартам валидности и надежности. Под надежностью понимают согласованность результатов проведения теста на одной и той же группе испытуемых, но при изменении условий проведения, чаще всего либо времени, либо набора тестовых заданий. Коэффициент надежности может принимать только положительные значения от нуля до единицы. Обычно для оценки надежности тест проводят два раза и сравнивают полученные тестовые баллы. Чем более схожи результаты двух тестирований, тем более высок уровень надежности тестов.
Валидность теста – его пригодность для достижения поставленной цели: пригодность по содержанию, пригодность к применению в конкретных обстоятельствах, пригодность по какому-либо критерию.
Валидность педагогического теста по содержанию может быть определена опытным преподавателем экспертом, который отмечает, что задания теста:
соответствуют учебной программе испытуемых;
охватывают всю программу;
имеют высокую вероятность того, что студент, успешно ответивший на задания теста, знает предмет в соответствии с полученной оценкой (при установлении соответствия тестового балла принятой системы отметок в качестве критериев обычно берутся оценки, выставляемые студентам группой преподавателей экспертов при традиционной форме контроля знаний).
Валидность теста напрямую связана и со следующими вопросами:
Насколько можно доверять результатам контроля, и каковы аргументы в пользу такого доверия?
Является ли выявленный уровень знаний приемлемым с точки зрения цели и качества обучения?
Сколько вопросов нужно задать для получения объективной информации о знании студентов?
Сколько времени требуется для оптимальной организации качественного контроля?
Тест может быть валидным, если, помимо прочих требований, средние результаты соответствуют большей части студентов группы, а сами данные распределяются по "нормальному закону". Если это условие не выполняется, то такой тест считается невалидным с точки зрения соответствия стандартам распределения. Именно отсюда проистекает стремление создателей теста добиваться нормальности распределения за счет варьирования числа легких и трудных тестовых заданий. В процессе создания теста мера трудности регулярно проверяется на случайной выборке из того контингента, для которого тест предназначается. В сбалансированном тесте авторы обычно легко добиваются нормальности распределения. Дальнейшее совершенствование теста идет по пути замены ряда заданий, ответы на которые нарушают нормальность распределения.
Трудность заданий влияет на надежность и валидность. Если тест очень трудный, то студенты чаще вынуждены догадываться – какой ответ правильный, но чем чаще они прибегают к догадке, тем больше распределение результатов теста приближается к случайному распределению. Поэтому пригодность теста для оценки знаний всей массы студентов будет ниже, чем труднее тест. Такое же влияние на надежность, но по другой причине, оказывает легкий тест, в котором студенты редко догадываются, их ответы устойчивы, но нет различий между испытуемыми.
Валидность теста существенно уменьшается из-за снижения его различающей способности. Различающая способность теста тем выше, чем меньше одинаковых тестовых баллов набирают сами студенты.
Валидность теста связана еще с понятиями "гомогенный" и "гетерогенный" тесты. Если тест создан с целью проверки знаний по одной учебной дисциплине и все задания теста связаны именно с ней, то такой тест считается гомогенным. Тест, состоящий из заданий по нескольким дисциплинам, называется гетерогенным. Валидность теста зависит и от длины теста. Под длиной теста понимают количество заданий, входящих в тест. Существуют тесты очень короткие, состоящие из 7-15 заданий, и очень длинные, состоящие из более 500 заданий. Если тест очень длинный, то ухудшается мотивация и внимание у испытуемых, а это снижает надежность и валидность. Практика показывает, что если тестирование занимает более полутора часов, то испытуемые с неохотой соглашаются отвечать на вопросы теста. С другой стороны, с точки зрения теории, чем тест длиннее, тем он надежнее. Возникающее противоречие между теорией и практикой решается компромиссом в ту или в другую сторону, в зависимости от конкретного случая.
|
