Измерение качества инструментальных средств

На рис. 1.5 показана укрупненная структура лимитирующих элементов образовательной системы. Все они относятся к инструментальным средствам, и, для того чтобы конкретизировать, в чем проблема с их использованием в учебном процессе дистанционного обучения, приемлем способ сравнительного анализа качества по результатам, достигнутым студентами при использовании тех или иных тестовых программ, разделов электронного учебника или средств доставки.

Сети J

Другие средства (почта, телевидение...)

Правильность ответа контролирует компьютер

Правильность ответа контролирует человек

Рис. 1.5. Архитектура лимитирующих элементов

использовалась первоначальная версия инструмента, и последующий период, когда для обучения применялась более новая версия. Сопоставив результаты, можно сделать заключение, к каким итогам привело реализованное нововведение: если успеваемость повысилась, то результаты положительные и новый вариант следует принять; если успеваемость ухудшилась, то результаты отрицательные и от изменений следует отказаться.

alt="" /> При всей кажущейся простоте способ оценки качества инструментальных средств по статистике успеваемости находит ограниченное применение.

водились измерение. Еще один недостаток связан с тем, что, даже фиксируя факт улучшения успеваемости, например, вследствие редактирования какого-нибудь раздела электронного учебника, невозможно установить изменение каких свойств данного раздела обеспечило такой результат.

Решить проблему измерения качества инструментального обеспечения дистанционного учебного процесса в значительной степени позволяет рассредоточенная экспертная система, блок- схема которой приведена на рис. 1.6. Такая система в первую очередь ориентирована на управление качеством электронного учебника, но с небольшими изменениями может быть адаптирована и для оценки качества остальных инструментов образовательной системы.

По сравнению с традиционным учебно-методическим обеспечением достоинства электронного учебника очевидны. Это: автоматизация и интенсификация педагогического труда с частичной заменой некоторых обучающих функций преподавателя: возможность самоконтроля знаний по результатам изучения отдельных разделов учебника при автономной и независимой работе с учебником; наглядность и информативность учебного материала за счет использование гипертекстового и мультимедийного представления информации; хранение больших массивов информации при наличии систем навигации и средств поиска; комфортность в работе за счет создания дружественного интерфейса, учета индивидуальных способностей студентов и др.

Наряду с достоинствами у электронных учебников есть и недостатки: чтение с экрана менее удобно, чем с листа бумаги, вызывает повышенную утомляемость органов зрения, требует наличия соответствующих технических средств и т.д.

Цель распределенной экспертной системы заключается в выявлении тех условий функционального и технического характера, соблюдение которых способствовало бы расширению преимуществ, снижению недостатков электронных учебников и, как следствие, их более эффективному использованию. При этом к функциональным следует отнести условия, определяющие соответствие электронного учебника его главному назначению - формированию у студентов необходимых знаний и навыков. Функциональные условия оцениваются показателями качества содержания образования. Наиболее общими из них являются доступность изложения учебного материала, полнота изложения для всестороннего рассмотрения предмета изучения, отсутствие излишней детализации, возможность самоконтроля, наглядность, логичность, типичность учебного материала и др. Для описания уровня технических условий используют показатели качества технологии обучения: особенности дизайна, удобство интерфейса, время на поиск и др.

В табл. 1.1 в качестве примера приведена анкета, которая может быть включена в состав электронного учебника для дифференцированной оценки показателей качества содержания образования и технологии обучения. Студент, получая такую анкету вместе с учебником, имеет возможность после изучения учебного материала оценить один из разделов или любую из тем, составляющих содержание учебника, а затем щелчком мыши на кнопку «Отправить» переслать ее в службу управления качеством дистанционного обучения.

Исследование выполняется по двум выборкам оценок качества, полученным при измерении каждого из частных показателей до и после внесения изменений в соответствующий раздел электронного учебника (л, и п.г).

Таблица 1.1- Анкета экспертной системы

где Pk              , pk - соответственно наибольшее и наименьшее изме-

кшях              "Kmin

ренное значение частных параметров качества. Общий разброс значений частного параметра качества (определенный по двум выборкам) разбивается на 6-10 интервалов, и определяется частота появления значений параметра в каждом из интервалов (количество значений частных параметров качества, которые находятся внутри границ каждого из интервалов).

Определяется мода - наиболее часто повторяющееся значение частного параметра качества в интервалах данных. Мода численно равна значению числовой оси, соответствующему середине интервала с наибольшей частотой появления частного параметра качества. Определяются медианы числовых рядов значений частных параметров качества из условия равенства количества критериальных значений, расположенных на числовой оси слева и справа от медиан. Рассчитываются средние арифметические значения частных параметров качества по формуле:

? Рк*иф

ридиф _

CD              *

п

где Ркдиф - i-й результат определения частного параметра качества;

п - общее количество измерений частного параметра качества. Рассчитываются дисперсии значений частных параметров качества:

D = ——

п (п -1) Рассчитываются среднеквадратические отклонения:

п              ( п              \1

п ¦ х (рн;,иф J - [ х рьу

i=i

п (п -1) Сопоставляется точность экспериментальных методик, использованных для определения значений частных параметров качества електронного учебника до и после внесения изменений. При этом, если отношение

lt; Ы

Dm,n

глр D D - соответственно большая и меньшая из дисперсий,

* М*" max* тт

рассчитанных для частных параметров качества до или после изменений; [D| - значение критерия Фишера (устанавливается в соответствии с числом полученных анкет nv проведенных в исследованиях с наибольшей дисперсией и числом анкет п2 с меньшей дисперсией Vf = пv Vц = п2),

то считают, что измерения выполнены в одинаковых условиях и можно делать сопоставление полученных результатов. Рассчитываются средние геометрические значения частных параметров качества:

Рассчитываются средние ошибки среднего арифметического:

АРкдиф =А.

ср

Рассчитывается коэффициент достоверности отличия частных параметров качества до и после внесения изменений:

rt

О

где pkdu* j              Asum',              Asum'              -              статистические              характеристики для

значений частных параметров качества до и после изменений:

где п, п" - количество значений частных параметров качества, определенных до и после изменений (может быть разным). Рассчитывается число степеней свободы для коэффициента достоверности отличия частных параметров качества:

V = п' + п" - 2.

J По таблицам критерия Стьюдента устанавливается предельное значение для коэффициента достоверности отличия частных параметров качества Ск Оценивается достоверность влияния изменений, выполненных при редактировании разделов электронного учебника, на их качество по соотношению К и С . Если К lt; С , то делает-

О              к              о              к

ся вывод об отсутствии влияния сделанных изменений на частные параметры качества. Если К i С , то считают, что такое влияние установлено.

В случае если факт влияния изменений учебника на какой- либо частный параметр качества установлен, определяется, насколько существенно такое влияние. Для этого рассчитывается разность между усредненными оценками параметра качества, рассчитанными по результатам анкетирования учебника сначала без изменений, а затем со внесенными изменениями. В целях повышения достоверности результатов анализ выполняется с учетом всех усредненных оценок, т.е. по формуле:

APk = Pk new Pkold .

Вместо Pknrw и Pk aid поочередно подставляются рассчитанные для каждой из выборок значения моды, медианы, среднеарифметического и среднегеометрического соответствующего параметра качества. По знаку APk судят о том, полезны выполненные изменения или нет и можно ли их рекомендовать для использования в окончательной версии электронного учебника.

При этом может оказаться, что одни и те же изменения способствуют повышению качества электронного учебника по одному из частных показателей и одновременно снижают качество по другому показателю. В этом случае решение об изменении электронного учебника не столь однозначно, так как задача становится многокритериальной, и простое сопоставление усредненных значений разных показателей не позволяет выработать однозначные рекомендации.

Для решения задачи в условиях многокритериального выбора возможно несколько подходов. Большинство из известных способов решения многокритериальных задач сводится к объединению частных критериев в единый критерий. Но это объединение, как правило, бывает искусственным, и с математической точки зрения не существует идеального способа решения. Поэтому каждый из способов решения имеет преимущества и недостатки.

В случае если производится сравнение показателей качества для двух вариантов электронного учебника, в качестве обобщенного критерия можно принять аддитивный, мультипликативный или минимаксный критерий.

При использовании аддитивного критерия целевая функция получается путем сложения нормированных значений частных критериев. Запись такой целевой функции в общем виде может быть представлена как „

Рк^УС              4— -» шах

Ркп'иф

где п - количество объединяемых частных показателей качества; С - весовой коэффициент /-го частного параметра качества (определяется по результатам дополнительного экспертного оценивания с учетом влияния данного частного показателя на общее качество электронного учебника); р^иф - числовое значение i-го частного параметра качества; Ркп*“ф - i-й нормирующий делитель.

В случае оценки параметров качества электронных учебников частные критерии имеют одинаковую физическую природу и размерность. Поэтому нормируемый делитель можно из формулы исключить и выполнить простое суммирование произведений весовых коэффициентов параметров качества на их численные значения:

Pk = ±С,Рк?* -gt; шах.

i = l

К аналогичным формулам приводятся выражения и в случае применения соответственно мультипликативного

Pk = П C,Pk?+ -* max

i- 1

или максиминного критерия:

C, Pk*ulp = const.

Использование того или иного обобщающего критерия для принятия решения о внесении изменений в электронный учебник зависит от специфики используемых частных показателей качества, характера вносимых изменений и ряда других обстоятельств. Поэтому здесь можно указать только общие направления для выбора. Так, аддитивный критерий обычно выбирают, если существенное значение имеют абсолютные значения частных параметров качества при заданном векторе их изменений. Мультипликативный критерий используют в случае, если существенную роль играет изменение абсолютных значений частных параметров, и минимаксный критерий, если стоит задача достижения равенства по всем частным показателям качества.

Следует также отметить ряд сложностей при принятии решения с помощью обобщающего критерия, определенного любым из указанных способов. В первую очередь это связано с тем, что механизм принятия решений не вытекает из объектной роли частных параметров качества и поэтому выступает как формальный математический прием. При этом может происходить взаимная компенсация частных параметров качества, т.е. не исключено, что уменьшение одного из них приведет к компенсированию обобщенного критерия за счет увеличения другого. Кроме того, наблюдается определенный субъективизм в принятии решений, что связано с тем, что отсутствует математически обоснованная расчетная методика определения весовых коэффициентов параметров качества, а использование экспертного метода не всегда обеспечивает требуемую точность.

В значительной степени от этих недостатков свободен метод, основанный на поиске Парето - оптимальных решений при выборе того или иного варианта электронного учебника по совокупности частных параметров качества. В его основе лежит определение оптимального решения по принципу «северо-восточной» границы, т.е. считается, что множество Парето - эффективных оценок лежит на максимальном удалении, отсчитанном

в положительном направлении от начала координатной системы, за исключением участков границы, которые параллельны одной из координатных осей или лежат в «глубоких» провалах.

Рассмотрим его суть на примере использования дЬух частных критериев, которые с позиции качества электронного учебника в целом являются равнозначными.

Пусть подготовлено несколько альтернативных вариантов электронных учебников, которые содержат определенный набор изменений в содержании и оформлении в разных сочетаниях. На них с помощью распределенной экспертной системы получены рецензии студентов, эти рецензии статистически обработаны, и по каждому из вариантов рассчитаны усредненные оценки частных критериев качества Pk' и Pk

Представим множество оценок вариантов решения в пространстве критериев (рис. 1.7).

На рисунке обозначено:

Pk1 и Pk2 - частные критерии качества;

Yj1 - оценки частных критериев, полученные для альтернативных вариантов учебника;

a-b, c-d, e-f — участки границы, содержащей Парето - эффективные решения.

Рис. 1.7. Область Парето - эффективных решений

Достоинством метода является то, что критерии качества равнозначны и метод математически объективен. Кроме того, имеется возможность одновременно оценить сразу несколько альтернативных вариантов изменений, внесенных в учебник и принять решение об их эффективности. Одно окончательное решение получается, как правило, только в частном случае, так как за редким исключением всегда имеется несколько Парето - эффективных решений.