Многоуровневый тестовый контроль качества знаний по количественным показателям

Одним из важнейших направлений реформирования образования в Украине является совершенствование контроля и управления качеством образования. Традиционная система образования, имеющая богатый опыт в области контроля результатов обучения, носит преимущественно субъективный характер и в силу своих организационных и технологических особенностей не может обеспечить удовлетворения потребности в объективной информации об учебных достижениях студентов.

недостатки, исследование и устранение которых, безусловно, будет способствовать их более широкому внедрению в педагогическую практику.

Тестовый контроль знаний как часть современных и бурно развивающихся направлений обучающих технологий в значительной степени повышает объективность оценок. Не затрагивая проблему, что же конкретно оценивает тест или эквивалентная ему традиционная проверка знаний с привлечением препо- давателя-контролера, отметим, что сам факт устранения человека (носителя субъективности) из процесса контроля должен положительно сказаться на повышении объективности результатов при оценивании знаний тестируемого студента.

Обратной стороной того, что личность преподавателя отчуждается от оценивания знаний, является некоторая прямолинейность выводов, которые делаются-по результатам контроля. При этом невозможно учесть в итоговой оценке нюансы, хорошо известные преподавателям-практикам, которые позволяют за внешне непривлекательным и неточным ответом выявить (за счет дополнительной беседы, уточняющих, наводящих вопросов и т.п.) то, что студент, может быть, знает, но вследствие различных причин не смог аргументированно представить в своем ответе.

Для смягчения этого недостатка тестового контроля знаний нами предлагается дополнить его многоуровневым статистическим контролем по количественным показателям.

Первый этап контроля осуществляется по традиционной для тестового контроля знаний схеме или с применением элементов нечеткой логики. Для этого составляется тестовое задание, включающее определенный набор вопросов, каждому из которых сопоставлено число, устанавливающее степень сложности вопроса. Затем проводится тестирование и подсчитывается количество баллов, засчитываемое в оценку студента по результатам ответа на каждый вопрос задания в зависимости от того, насколько ответ прав^ьный и какова степень сложности вопроса.

Рис. 2.4. Блок-схема процедуры двухуровневого тестового контроля знаний

Итоговая сумма баллов, набранная студентом по результатам ответа на все вопросы тестового задания, принимается в качестве меры знаний студента.

Для принятия решения об уровне знаний студента при применяемой в настоящее время одноуровневой процедуре тестового контроля набранные баллы сравниваются с некоторой критериальной характеристикой, и если количество баллов больше установленной пороговой величины, то считается, что студент знает контролируемый материал. В противном случае делается однозначный вывод о том, что студент материал не знает.

Однако такой вывод правомерен только в случаях, если набранное количество баллов значительно больше или значительно меньше установленного порогового числа, и недопустим при их относительной близости. Действительно, если пороговым числом для оценки уровня знаний принято считать 100 баллов, то ответ, оцененный в 10 баллов, однозначно будет свидетельствовать, что знания студента неудовлетворительные.

и при ответе, оцененном в 200 баллов, можно сделать обоснованное заключение о достаточности знаний студентов. Однако, если при критерии в 100 баллов студент набирает 99 или 101 балл, то последующие выводы об уровне знаний уже не являются столь очевидными. Большинство схем традиционного тестового контроля не позволяют устранить возникающую неоднозначность в оценке знаний. В то же время последовательность действий, которая должна быть выполнена для ее устранения хорошо известна и широко применяется при контроле без применения тестов. При возникновении таких затруднений преподаватель при очном контроле имеет возможность задать студенту дополнительные вопросы и с учетом ответа на уже заданные и дополнительные вопросы делает окончательное суждение о знаниях студента.

Компьютеризированный тестовый контроль знаний можно свести к аналогичной схеме, если контроль предусматривает установление числовых значений критериев, при которых следует принимать решение о необходимости проведения дополнительных сессий контроля, и установление для каждой из сессий того количества вопросов, которое должно содержать тестовое задание каждого уровня. Математическое обоснование разрабатываемых планов контроля позволяет исключить субъективность в оценивании знаний и одновременно с этим использовать преимущества, присущие обычному контролю в части повышения достоверности результатов за счет включения в тестовые задания дополнительных вопросов, уточняющих фактический уровень знаний студентов.

Для определения критериальных значений можно воспользоваться математическим аппаратом, используемым для разработки планов оценки качества промышленной продукции и широко применяемым в практике приемочного контроля по альтернативному и количественному признакам [175]. При выпуске машиностроительной продукции большими партиями (десятки и сотни тысяч экземпляров однотипной продукции) нет возможности проконтролировать все изготавливаемые детали. Поэтому ограничиваются выборочным контролем, когда определяют характеристики качества ограниченной партии деталей и по результатам ее контроля делают заключение о годности всех деталей, изготовленных за установленный промежуток времени.

Аналогично и при тестовом контроле нет возможности задать такое количество вопросов, чтобы ответы на них однозначно свидетельствовали о том, знает студент контролируемый материал в полном объеме или нет, и при этом позволили бы уточнить, помнит ли студент содержание всех без исключения разделов учебного материала и умеет ли ими пользоваться во всех вероятных вариантах применения.

В терминах теории вероятности данную задачу можно сформулировать следующим образом. По результатам определения качества знаний, выраженного оценками, измеренными в баллах X,, Х2, ... , Хд„ из нормальной совокупности оценок с генеральными средней Хср и дисперсии о необходимо определить вероятность того, что случайная величина X, принадлежащая этой генеральной совокупности, будет больше или меньше некоторых заданных граничных величин. Тогда верхняя и нижняя границы контролируемого параметра могут быть выражены зависимостями:

Проводя представительные эксперименты, достаточные для достоверного определения генеральных оценок ХСР и о, и выполняя необходимые математические выкладки или воспользовавшись соответствующими статистическими таблицами, можно определить теоретически точные значения критериальных величин, приравняв приемочное число С к верхней критериаль

ной границе qL, а браковочное число D - к нижней критериальной границе qv.

Для практики тестового контроля с учетом 5% вероятности принятия ошибочного решения можно установить приемочное число С равным 95% от максимальной суммы баллов, которую студент может получить по результатам контроля.

Таким образом, процедура двухуровневого тестового контроля качества знаний будет выгляде- •. следующим обрасом: рассчитываются или назначаются числовые значения приемочного числа С и браковочного числа D; проводится тестовый контроль, результаты которого сравниваются с установленными величинами С и D; если набранное студентом количество баллов больше приемочного числа, то делается вывод, что студент знает контролируемый материал, и контроль прекращается; если по результатам контроля студентом цабрано количество баллов меньшее, чем браковочное число, то делается вывод, что студент не знает контролируемого материала, и контроль также прекращается; если студент набирает количество баллов меньшее, чем приемочное число, но большее чем браковочное число, то считается, что вынести суждение об истинных знания студента не представляется возможным, и проводится еще одна сессия тестирования; проводится тестовый контроль второго уровня, результаты которого сравниваются с установленным значением приемочного числа С; если сумма баллов, набранная по итогам первой и второй сессии контроля, больше приемочного числа, определенного по максимально возможной сумме баллов обеих сессий, то делается вывод, что студент знает контролируемый учебный материал. В противном случае считается, что знания студента недостаточны;

тестовый контроль прекращается и считается, что знания студента оценены. (В случае многоуровневого контроля проводятся дополнительные сессии контроля по аналогичным процедурам).

Для повышения достоверности результатов контроля и их сопоставимости с результатами, полученными по нескольким темам или нескольким дисциплинам, приведенную процедуру необходимо дополнить установлением количества вопросов, которое следует включать в тестовое задание на каждом уровне контроля.

На рис. 2.5 показана диаграмма, иллюстрирующая результаты исследований по определению критериальной величины, определяющей совокупную значимость и сложность контролируемого учебного материала, для дисциплин, читаемых студентам на 1-3 курсах направления «Инженерная механика». При

Соотношение экспертныхоценок сложности и значимости дисциплины

? Ср. геометрическое ? Ср. гармоническое

Рис. 2.5. Результаты определения интегральных характеристик совокупной сложности и значимости учебных дисциплин

проведении исследований экспертам предлагалось сравнить характеристики сложности и значимости базовой дисциплины по отношению к аналогичным характеристикам других дисциплин. Поскольку в большинстве случаев эксперты затруднялись в определении значимости дисциплин гуманитарной направленности по отношению к специальным дисциплинам, то на этом этапе исследований такие дисциплины были исключены из рассмотрения.

Приведенные результаты свидетельствуют о том, что экспертные оценки неоднородны и не просматривается взаимосвязь между характеристиками сложности и характеристиками значимости изучаемого материала. Статистическая обработка результатов исследований подтвердила приведенные иллюстративные материалы, о чем свидетельствовали большой разброс оценок (дисперсия от 1400 до 4580 баллов), отсутствие корреляции между средними арифметическими, геометрическими или гармоническими значениями оценок и отрицательные результаты проверки по критерию воспроизводимости результатов. Кроме того, рассчитанное значение коэффициента конкордации, равное 0,26, свидетельствовало о несогласованности мнений экспертов и наличии среди них отдельных групп, однородных в своих оценках.

Следовательно, можно сделать вывод, что будет неоправданным применение критериальной величины, объединяющей совокупную сложность и значимость учебного материала в виде одного интегрального параметра. Необходимо провести дополнительное исследование для независимого определения каждой из этих характеристик учебного материала.

При установлении числовых значений совокупной значимости дисциплин рассчитывались коэффициенты корреляции Парето и была выявлена 86% корреляция экспертных оценок с объемом изучаемого материала, выраженного в единицах, пропорциональных количеству часов, отведенных на дисциплину (корреляция была близкой к 98% в случае, когда эксперты специально знакомились с данными о запланированном на изучение дисциплины количестве учебных часов). Более того, многие эксперты априори связывали значимость дисциплины с количеством отведенных на ее изучение учебных часов, во многом справедливо полагая, что такая увязка была реализована разработчиками стандартов специальностей.

Рис. 2.6. Соотношение совокупной сложности и итоговых оценок

но дисциплине

В качестве экспертов, оценивающих сложность изучаемого материала, были привлечены студенты, которые сравнивали сложность одной из дисциплин, взятой в качестве базовой, со сложностью других дисциплин. Результаты экспертного оценивания приведены на рис. 2.6 2.11. Из рисунков видно, что не прослеживается устойчивой связи характеристик сложности дисциплин с оценками, полученными студентами по результатам их изучения (рис. 2.6-2.7) и нет соответствия между объемом часов, которые отведены на изучение учебного материала, и тем, как оценена его сложность (рис. 2.8-2.10). Об этом же свидетельствовали формальные статистические показатели, полученные по результатам экспериментов.

Таким образом, для определения характеристик сложности дисциплин необходимо проводить самостоятельное экспертное оценивание (рис. 2.11). При этом очевидно, что получаемые оценки сложности фиксируют определенный временной срез и могут существенно трансформироваться даже для одной и той же дисциплины в случае, если изменяется ее организационно- методическое обеспечение.

Наличие оценок совокупной значимости и совокупной сложности позволяет обоснованно сформировать тестовое задание для каждого уровня тестового контроля. При этом расчетные

Vs «Г «г              «V*              {«9              1*gt;              ^              ъЗ'              »?              fc*

Средняя оценка

Рис. 2.7. Соотношение совокупной сложности и итоговых средних оценок по дисциплине

Рис. 2.8. Соотношение совокупной сложности дисциплины и общего

количества часов

Ж

А

Аудитора*              » учычтцо, чч-'nq

Рис. 2.9. Соотношение совокупной сложности дисциплины и количества аудиторных часов

ш

Рис. 2.10. Соотношение совокупной сложности дисциплины и количества лекционных часов

35000

формулы для определения количества вопросов для каждого уровня примут вид: первый уровень:

Р"              К              lt;              Y Р              lt; Р”              К              ¦

JU tlrtn.              “nm              -              Z* I              - ‘jH.dnn.

i --1 второй уровень:

P"              К              lt;              У P              lt; P"              К

CA.dorx.              em              i              гл.^ол.              нт »

i=l

где don ’ Р’н don ~ критериальные значения характеристики значимости контролируемого материала; двп, Р“л дш - критериальные значения характеристики значимости контролируемого материала; Р( - весовой коэффициент (индекс сложности) вопроса; п - количество вопросов в тестовом задании.

Использование общей методики многоуровневого тестового контроля по количественным показателям в сочетании с расчетом по приведенным формулам позволит сформировать тестовые задания и с их помощью выявить качество знаний студентов на основе критерия значимости изучаемого материала, а в случае неоднозначных результатов оценивания - уточнить полученные оценки с учетом степени сложности материала.