Прецедентная модель оценивания компетенций

Прецедентная модель оценивания компетенций — один из возможных форматов оценивания компетенций. Подразумевает, что оценки, выставлямые по каждой компетенции, подтверждаются конкретными (описанными, зафиксированными) ситуациями - прецедентами.

Почему именно прецеденты

Если обратиться к определению компетенции, видно, что ключевая характеристика компетенции - её проявление в практической деятельности. Следовательно, наиболее надёжный способ оценить компетенции человека (студента или работника) - поместить его в практическую деятельность и пронаблюдать за его поведением.

Примерами деятельности могут являться проектная деятельность, участие в конференциях или семинарах, поведение в социальных тренажёрах (Метаиграх) и др.

Пример 1

Рассмотрим выставление компетенций на реальном примере самоорганизации студентов.

Студент С. организовал межпредметный курс, в котором лекторами являлись другие студенты.

Выставляем личные оценки:

• С. сформировал идею курса: фиксируем ему компетенцию «формирование новой идеи».
• С. довёл идею до реального цикла мероприятий: фиксируем компетенцию «достижение результата».
• В процессе С. организовывал работу людей: фиксируем «организацию мероприятия».
• Также в процессе С. улаживал конфликты интересов, конфликты расписания и старался сделать лекции более посещаемыми: фиксируем «разрешение межличностных конфликтов внутри команды».

Также всем студентам-лекторам выставляем компетенции «формирование образовательных материалов» и «публичные выступления».

Забегая вперёд, отметим, что не обязательно использовать бинарную шкалу «есть компетенция — нет компетенции». Можно использовать несколько уровней владения компетенцией.

Пример 2

Основан на прецеденте Выбор эффективных управляющих командой из проекта Nuclear sprint.

В Метаигре Nuclear sprint перед одной из команд была поставлена задача определить, кто же из игроков является самым эффективным управляющим крупной компанией.

• Один из игроков выступил с понятной, хорошо структурированной речью. Были зафиксированы компетенции «Способность к эффективной коммуникации», «Способность к убеждению» и др.
• Другой студент нашёл нужную статистическую информацию и предложил альтернативную кандидатуру. На основе прецедента была зафиксирована компетенция «Способность получать информацию из различных внешних источников».
• Многие из участников обращались к статистическому материалу и графикам. Поэтому всем участвующим в обсуждении была поставлена групповая оценка «Способность работать с математическими моделями».

(См. подробнее о групповых оценках.)

Свойства прецедентного подхода

Подробные отчёты

В прецедентном подходе важно то, что та или иная оценка не просто заносится в систему, но также имеет описание. Во-первых, это даёт хорошую обратную связь самому студенту. Во-вторых, человек, просматривающий чужой компетенционный профиль (например, потенциальный работодатель) имеет не просто набор «голых цифр», но, фактически, подробное портфолио интересующего кандидата.

Пример: [1]. По ссылке доступна информация о том, что студент имеет уровень Способность по компетенции «Управление финансовыми средствами сообщества». Также приведена вся история прецедентов, имеющая отношение к данной комптенции данного студента.

Точные результаты

Точность результатов может обеспечиваться за счёт следующих факторов:

• Поскольку компетенции (по сути своей, практические) фиксируются в практической деятельности, это снижает погрешности, которые потенциально могут возникнуть при использовании косвенных форм оценивания (тестов, собеседований и др.)

• Поскольку каждая оценка сопровождается описанием, всегда можно проверить результаты на адекватность (например, в примере 2 (см. выше) можно было бы поспорить с тем, что работа с графиками - то же самое, что «Способность работать с математическими моделями»).

• На практике часто оказывается так, что неадеватные оценки принадлежат одним и тем же оценщикам. Поскольку каждая оценка содержит описание и привязку к выставившему её человеку, можно найти оценщиков с «другим взглядом на мир» и отключить их оценки.

• Если оценок по компетенции выставлено несколько, возможные погрешности в понимании уровней нивелируются усреднением результатов. (На самом деле, в DevYourself используется не усреднение, а немного другая формула: см. вычисление результатов).

Необходимость большого потока событий (прецедентов)

Важно понимать, что для наполнения компетенционных профилей информацией необходима среда с большим количеством событий. Нужного количества можно достигнуть двумя способами:

• если применять подход в обычной (например, проектной) среде со средним потоком событий — но в течение длительного времени;
• если применять подход в среде с большим потоком событий — тогда требуется гораздо меньше времени (поэтому насыщенные социальные тренажёры оцень удобны для оценивания компетенций).

Прецедентная модель в Метаиграх

ОБ Солинг оценивает компетенции в рамках социальных тренажёров (Метаигр). Одна из особенностей Метаигр залючается в том, что игровой процесс создаёт очень большой поток игровых прецедентов. Поскольку Метаигра моделирует реальный мир и подразумевает практическую вовлечённость в процессы, возникает хорошая возможность для оценивания компетенций.

Мастера и тьюторы в игровом процессе фиксируют прецеденты. Затем они заносят их в онлайн-систему описания прецедентов и проставляют оценки. Оценки выставляются по проявленным компетенциям.

См. подробнее справку по занесению прецедентов в систему.

Если прецедентов много, используется двухшаговая система занесения прецедентов с использованием колл-центра.

Личные и групповые оценки

Основная статья: Личные и групповые оценки.

Оценки, добавляемые при описании прецедента, могут относиться как к конкретному человеку, так и ко всей группе сразу. Такие оценки называются, соответственно, личными и групповыми.

Результаты оценивания компетенций

Основная статья: Результаты оценивания компетенций.

В системе DevYourself доступны следующие результаты оценивания компетенций:

• компетенцинные профили;
• соответствие студентов профессиограммам;
• рейтинги по профессиям;
• и др.