Эффективность систем дистанционного обучения

В настоящее время технологии дистанционного обучения проникли практически во все секторы обучения (школы, вузы, корпорации и т.д.). Тысячи компаний и университетов тратят немалую часть своих ресурсов на подобные проекты.

Существуют различные подходы к оценке эффективности разнообразных систем обучения. Остановимся сначала на тех из них, которые позволяют оценить относительную эффективность, основанную на анализе технологий обучения. Так, можно выделить следующие основные процессы, определяющие эффективность исследуемой системы обучения в целом: методологию формирования системы знаний, методологию формирования системы профессиональных умений и навыков, рентабельность образовательного процесса и разумную стратегию цен за обучение.

Сформулируем некоторые правила, которые позволяют перейтй от методологических утверждений к более конкретным критериям оценки сравнительной эффективности систем обучения. type="1"> Система обучения является более эффективной по сравнению с другой, если учебная нагрузка студента в течение рассматриваемого периода (семестр, год) в этой системе будет более рав

номерной, чем в сравниваемой. Это утверждение основывается на том, что в большинстве случаев невозможно сформировать систему знаний при неравномерной учебной нагрузке (например, только во время сессионных занятий). Система обучения более эффективна по сравнению с другой, если отношение числа часов занятий, формирующих умения и профессиональные навыки к общему числу занятий будет больше аналогичного отношения в сравниваемой системе.

Таким образом, по критериям формирования знаний, умений и навыков, а также вследствие более равномерного распределения учебной нагрузки студента в течение года (рис. 2.1) техноло-

Рис. 2.1. Изменение учебной нагрузки студента в течение года по различным формам обучения

гия дистанционного обучения сопоставима с очной формой обучения и значительно превосходит по качественным параметрам заочную форму обучения.

Достаточно высокая эффективность дистанционного обучения во многом достигается благодаря высокой степени его интерактивности, специфическим особенностям информационных и телекоммуникационных технологий, индивидуальному планированию и организации учебного процесса.

Это подтверждается экспериментом, который провел профессор социологии Калифорнийского государственного университета Дж. Шютте. В один из семестров профессор в произвольном порядке разделил группу студентов на две подгруппы.

Начиная с 1960-х годов специалисты по обучению стали приходить к пониманию важности количественной оценки экономического эффекта от проектов в области образования, особенно при корпоративном обучении. Можно выделить четыре основных причины проведения оценки эффективности обучения в компаниях: обучение является инструментом бизнеса, одним из проектов, реализуемых организацией для увеличения своей производительности и доходности; обоснование целесообразности расходов на обучение вызывает необходимость проведения его количественного анализа; оценка эффективности помогает разработчикам улучшать обучающие материалы, так как без формальной оценки база для изменений чрезвычайно субъективна. оценка эффективности помогает выбрать наилучший метод обучения.

Эффективность корпоративного дистанционного обучения определяется сочетанием пяти ключевых факторов, позволяющих

обучаемым удержать в памяти больше информации, увеличить свою осведомленность, добиться лучших результатов работы и тем самым увеличить коэффициент рентабельности инвестированного капитала.

Интерактивность. Внедрение интерактивности в процесс обучения делает участие обучаемого более активным, заставляет его стараться достигнуть максимального результата. Интерактивность помогает также преподавателям включить в курс более сложные материалы.

Интерактивность можно сочетать с имитированием в процессе обучения той среды, с которой должны познакомиться обучаемые. Например, если курс посвящен использованию компьютерной программы, изображение на экране должно соответствовать тому, которое отображается при работе этой программы, а обучаемому можно дать задание выполнить операцию, соответствующую одному из изучаемых вопросов. Для более сложных в этом отношении тем можно смоделировать бизнес-процесс и предложить обучаемому изучить его.

Запоминаемость. Чтобы лучше запомнить, обучаемые должны ощущать важность изучаемого материала. В этом помогает также структурирование заголовков изучаемых тем, обеспечивающее удержание в памяти необходимой информации. А это, в свою очередь, делает более вероятным применение ими полученных знаний в будущих реальных проектах. Кроме того, организация заголовков помогает избежать повторов, которые часто снижают эффективность электронного обучения.

Гибкость в использовании. В системе должна быть предусмотрена возможность обучения сотрудников с различным уровнем подготовки и различными возможностями. Необходимо, чтобы обучаемые могли легко двигаться по учебному курсу, следить за своим перемещением, а также могли вернуться на ту позицию, где находились при предыдущем сеансе обращения к учебному курсу.

По мере развития компании содержание курса редко остается неизменным, поэтому средства обучения должны позволять изменять учебный контент. Возможность таких изменений необходимо заложить в средства обучения в самом начале. Само внесение изменений необходимо планировать и следить за его осуществлением.

Предоставл ение помощи. Поскольку электронное обучение происходит обычно индивидуально, то необходимо, чтобы система обучения предоставляла обучающимся помощь. Им требуются инструкции по прохождению курса, средства навигации, подсказки для выполнения заданий, ссылки для получения опре

делений, поддержка при возникновении технических вопросов и др. Кнопка вызова помощи должна быть доступна с любого слайда курса. Все это поможет сотрудникам сосредоточиться на обучении, а не отвлекаться на досадные помехи. Для гибкости работы обучаемых полезно предусмотреть раздел для часто задаваемых вопросов, а также глоссарий терминов, которые могут быть незнакомы обучаемым. Эти средства могут стать ценными справочными ресурсами для сотрудников даже после завершения обучения.

Доступность. Из-за загруженности обучающихся часто бывает трудно выбрать время для учебного процесса. Для решения этой проблемы необходимо использовать различные способы доставки учебного контента. Если учебный материал доступен через Интернет, то необходимо обеспечить возможность использования этих материалов вне работы. Для тех предприятий, где имеются затруднения с доступом к Интернету, для обучающихся, которые хотят изучать материал дома, а также для технического персонала, которому нужен справочный материал вне предприятия, можно предусмотреть создание версии учебного материала на компакт- дисках.

Для повышения экономической эффективности дистанционных курсов как в общем, так и в корпоративном обучении большое значение имеет маркетинговый подход к обслуживанию обучаемых для того, чтобы результаты образовательных проектов были максимально ориентированы на потребителя. Инструментами комплекса маркетинга должны учитываться не только требования рынка, но и способы активного воздействия на него. Результат деятельности службы маркетинга проявляется в организации оптимального набора студентов и в трудоустройстве подготовленных специалистов. При этом крайне важно, чтобы маркетинг был постоянно действующим процессом с обязательным участием всех вузов, входящих в систему открытого образования.

Первая, наиболее известная и практикуемая на сегодняшний день методика оценки эффективности программ обучения была разработана Дональдом Киркпатриком более 40 лет назад. Согласно этой методике, оценка производится на четырех уровнях.

Уровень 1. Реакция слушателей на программу обучения. На этом уровне оценивается удовлетворенность участника программой и ходом обучения. Это самый простой для реализации уровень. Технология оценки может включать персональные интервью, заполнение слушателями анонимных анкет и т. п. Традиционно организаторов курса интересует, понравилась ли слушателям программа, преподаватель, организация процесса обучения. Это характерно в основном для корпоративного обучения и тренинг-центров, где все программы оцениваются на этом уровне, но все чаще данные технологии применяются и в вузах при анкетировании

студентов. Кроме того, для оценки курса интересно получить аналогичные данные от тех, кто не проходил обучение.

Однако несмотря на распространенность результаты оценки на этом уровне субъективны, они лишь указывают на то, понравилась ли слушателям программа, но не дают никакой информации об ее успешности как для обучающегося так и для компании, где он работает, а также о качестве полученных знаний и опыта.

Уровень 2. Оценка знаний и опыта, полученных слушателем по программе обучения. Технология оценки на этом уровне подразумевает проведение интервью (экзамена), опроса, тестирования после процесса обучения. Данный уровень повсеместно реализуется в учебных заведениях и представлен в виде системы зачетов (экзаменов). Эти же методы используются в 60 % случаев при корпоративном обучении. Таким образом, на уровне 2 оцениваются результаты обучения: определяется, получили ли обучаемые те знания и навыки, которые были заложены в программу.

Уровень 3. Оценка поведения на рабочем месте. Если по результатам уровня 2 на основании итоговых тестов была получена оценка уровня знаний, то при этом остается открытым вопрос о том, в какой мере новые знания и навыки сохранились в памяти и используются на рабочем месте. Для ответа на этот вопрос служит уровень 3, т. е. выясняется, как слушатели применяют полученные знания и навыки в рабочих условиях. Это не практикуется в учебных заведениях, и только 30 % корпоративных программ обучения оценивается на таком уровне. Сложность оценки заключается в том, что для получения результатов необходимо ждать от месяца до полугода. Однако несмотря на сложность и дороговизну оценки проекта обучения на уровне 3 именно здесь впервые проявляется реальная польза программы обучения для сотрудника.

Уровень 4. Оценка влияния программы обучения на бизнес компании. На этом уровне оценивается воздействие программы обучения на результаты бизнеса компании. Иначе говоря, каких измеримых результатов компания достигла благодаря своим программам корпоративного обучения. Это наиболее сложный для реализации уровень, и только 10 % программ обучения персонала оценивается по этому параметру. Изучается финансовая и иная отчетность компании, опрашивается руководство, клиенты, иные участники рынка. Но главная трудность состоит в выделении эффекта от тренинга из огромного числа других факторов, также влияющих на бизнес компании.

Модель Киркпатрика дает только основу для оценки эффективности, но не предлагает какого-либо метода или решения. Поэтому для дальнейшего анализа необходимо использовать следующие дополнительные данные: эффективность использования

средств; результативность процесса обучения; соответствие требованиям, предъявленным к обучению.

В середине 1990-х годов в бизнесе особенно популярной стала модель, учитывающая возврат средств на вложенные инвестиции ROI (Return on Investment), %:

ROI = Доходы - Затраты 1QQ Затраты

Использование ROI изменяет роль обучения и развития в организации. Этот процесс фокусирует внимание на соответствии требованиям, диктуемым бизнесом, способствует совершенствованию проектирования, разработки и доставки учебного материала, повышает ценность обучения и развития в организации. Главная сложность выражена в составлении прогноза будущих доходов в денежной форме. Поэтому только 5 % программ обучения оценивается по такой модели.

Кроме расчета коэффициента ROI другим универсальным методом оценки проектов является анализ выгод и издержек СВА (Cost Benefit Analysis). Метод СВА — это достаточно распространенный подход, при котором делается попытка оценить в денежной форме каждый элемент проекта, приводящий к прибыли или издержкам, даже если этот элемент не имеет прямого денежного выражения. Особенность СВА заключается в оценке альтернативных вариантов проектов на основе ожидаемых доходов.

На сегодняшний день модель сбалансированной системы показателей (Balanced Scorecard) является одной из наиболее перспективных и используемых моделей, предложенная в 1992 г. Робертом Капланом и Дейвидом Нортоном. Сегодня эта модель внедрена в большинстве компаний из списка Fortune 500. Особенность данной модели заключается в том, что она учитывает весь спектр стратегических и тактических целей компании, которые отнюдь не всегда имеют финансовую природу. Для этого выделяются 20 — 25 показателей, соответствующих стратегии фирмы и классифицированных по четырем группам: финансовые показатели; показатели работы с клиентами; показатели, характеризующие внутренние бизнес-процессы; показатели обучения и развития.

Реализация этой модели включает в себя следующие этапы: формируется набор ключевых факторов успеха; определяются ключевые показатели результативности; на основе стратегии и существующего положения дел формулируются текущие цели.

Одна из детальных моделей оценки программ обучения была предложена Джеком Филипсом в 1997 г. Эта модель включила в себя многие особенности разработанных ранее общепринятых

моделей. Автор собрал и описал более 40 проектов обучения в различных организациях, выявил преимущества используемых в каждом случае способов оценки и разработал шестишаговую «модель ROI».

Шаг 1. Сбор данных. Непосредственно перед сбором данных необходимо выделить цели, для которых производится оценка, затем осуществляется сбор данных с использованием различных инструментов (опросы, интервью, тестирование, наблюдения, измерение производительности). Оценка производится на нескольких этапах: до, после, во время обучения, а также через некоторое время.

Шаг 2. Изолирование эффекта обучения. Выполнение этого этапа позволяет исключить влияние внешних факторов, не имеющих отношения непосредственно к проекту обучения. На сегодняшний день разработано большое число решений, позволяющих осуществить это, все они не безупречны, но при комплексном применении выдают адекватный результат.

Шаг 3. Конвертация данных в денежную форму. Нужно перейти от таких понятий, как рост качества, эффективное распределение ресурсов, сокращение простоев и трудовых издержек, к денежной сумме, разнесенной по временным интервалам.

Шаг 4. Оценка затрат на обучение. Необходимо оценивать не только явные затраты, такие как оплата разработчиков учебного курса, покупка необходимого программного и аппаратного обеспечения, учебных материалов, оплата преподавателя (тьютора), но и неявные, например отсутствие на рабочем месте в период обучения и т. п.

Шаг 5. Расчет ROI. Для его осуществления используются результаты третьего и четвертого шагов.

Шаг 6. Определение неявной выгоды. Неявной выгодой может считаться рост «командного духа», удовлетворенность от работы, снижение конфликтов и т.д.

Следует отметить, что простота расчета показателя ROI становится неочевидной в случае оценки реального проекта в системе образования. Дело в том, что доходы (или результаты обучения) очень сложно оценить, они часто носят скрытый, неявный характер и могут проявляться только через значительный промежуток времени после окончания обучения. И даже если доходы достаточно очевидны, проблема возникает при конвертации их в денежное выражение. Часто затраты также сложно поддаются оценке. Хотя существует достаточно много позиций, отмеченных в денежном выражении, многие затраты скрыты и существуют в неявном виде (например, учет дополнительного времени преподавателя при ответах на вопросы студентов по электронной почте). Кроме того, данные, необходимые для расчета ROI, зачастую могут быть получены только после проведения обучения.

Если полная и достоверная информация, необходимая для расчета ROI, не доступна, можно использовать предложенный Дже- фом Муненом упрощенный подход к оценке возврата на вложенные инвестиции SROI (Simplified Return on Investment), учитывающий различные критерии обучающих проектов (экономические, качества и эффективности).

В целях уменьшения сложности сбора данных и самих вычислений при расчете SROI во внимание принимаются только те факторы (как положительные, так и отрицательные), которые в текущей ситуации существенно отличаются от средних значений. В результате получается своеобразный «прирост» или «потеря» в значении ROI при изменении ситуации. Тем не менее основной и наиболее важной задачей является отбор этих «существенно отличающихся» факторов с точки зрения разных участников ситуации.

Принципы вычисления SROI представлены в шести этапах. Использование в случае необходимости относительных данных. Показатель ROI можно рассчитать как относительную величину, когда абсолютные данные отсутствуют. В этом случае рассчитывается величина, на которую изменится ROI при переходе от одной ситуации к другой (например, при введении в эксплуатацию новой технологии). Преимущество относительного расчета ROI в том, что отпадает необходимость сбора труднодоступных данных, использующихся при абсолютном расчете. Выражение качественных данных на числовой шкале. Существует много способов разделения факторов на категории для использования в расчете ROI. Для упрощения и расширения этой процедуры предлагается рассматривать только три категории: экономические критерии (непосредственно связанные с экономикой, выражаемые в количественных параметрах, обычно в денежных единицах); качественные критерии (способности, поведенческие критерии, качество обслуживания, выражаемые обычно в терминах «лучше» и «хуже»); критерии эффективности (выраженные во времени, необходимом на выполнение определенной задачи, обычно в терминах «больше» и «меньше»). Представление расчета SROI как нефинансового расчета. Часто при традиционном расчете ROI данные, изначально измеряемые в нефинансовых единицах, преобразуются определенным образом для отражения денежных значений. К сожалению, такое преобразование данных редко бывает объективным и глубоким, так как не учитываются многие критерии (такие, как качество и эффективность), имеющие большое влияние на значение коэффициента ROI. Поэтому при расчете SROI преобразование данных в финансовую форму не производится. Наоборот, финансовые данные преобразуются в относительные оценки (например, по шкале от -10 до +10). Такой подход подчеркивает субъективную природу ROI, что гораздо ближе к реальности.

Учет минимального количества переменных, изменяющих текущую ситуацию. Для расчета следует рассматривать только те стороны конкретной ситуации, для которых ожидаемое различие до и после проведения необходимых изменений будет не просто заметным, а существенным. Вычисление различных значений ROI, зависящих от участников ситуации и стадии внедрения нововведения. При расчете ROI с использованием различного состава участников ситуации часто получаются различные результаты (например, с точки зрения менеджера и преподавателя). Поэтому необходимо проводить вычисления ROI для каждой из категорий участников процесса: персонал, преподаватели, студенты и т.д. Использование результатов SROI для совершенствования процесса и методики принятия решений, но не для самих решений. Составив краткий список результатов ROI, можно получить гораздо более полную информацию о конкретном нововведении. Тем не менее наиболее важным вкладом SROI является систематический анализ, появление информации к размышлению, создание базиса для обсуждений заинтересованными сторонами. Следовательно, применение SROI не дает точного описания эффекта (хотя все данные базируются на надежных и точных данных), а создает ориентир для принятия обоснованных решений.

Такой новый подход («упрощенный ROI»), учитывая традиционные экономические и финансовые параметры, выявляет также неявные результаты, связанные с качеством проекта и его эффективностью (компетентность преподавателей, режим работы и качество обслуживания). Расчет «упрощенного ROI» приводит к более точному пониманию возврата инвестиций при планировании основных показателей каждого конкретного образовательного проекта. Именно в этом заключается его основное предназначение.