Мониторинг эффективности и оценка результатов

7.1. Подход к оценке

В экосистемном подходе фиксируется не только итоговая оценка, но и процесс и эффект. Удобна трехуровневая схема: процессные метрики (ритм и участие), результативные метрики (что сделано), эффектные метрики (самостоятельность, качество артефактов, готовность к защите).

7.2. Квартальный мониторинг (по четвертям)

Мониторинг ведется по четвертям (I-IV), чтобы не перегружать учителя и при этом иметь управленческие точки контроля. В конце каждой четверти заполняется таблица: значение + комментарий «почему так» + решение «что меняем».

Рекомендуемый набор метрик квартального мониторинга:

- 1 активность (охват): доля участников, проявивших осмысленную активность;

- 2 выполнение обязательных заданий: доля выполненного минимума;

- 3 сдача в срок: доля работ по дедлайнам (если дедлайны заданы);

- 4 ритм практики (факт/план): насколько выдержан практический контур;

- 5 участие в практике: доля учащихся/команд с практической активностью;

- 6 средний объем практики: зачтенные решения/работы на ученика/команду;

- 7 решаемость по сложности: распределение решаемости для корректировки банка практики;

- 8 старт проектов: доля групп/учащихся с темой/целью/планом;

- 9 выполнение этапов проекта: продвижение по маршрутному листу;

- 10 качество проекта по рубрикатору;

- 11 вовлеченность в коммуникацию (агрегировано);

- 12 разборы и поддержка: факт и охват проведенных разборов;

- 13 инциденты доступа/организации и принятые решения;

- 14 устойчивость: фиксация факта необходимости антиспама/антибота/интервалов обновления (по факту).

7.3. Рубрикатор оценки проектной работы (0-3)

Оценка проектов проводится по единому рубрикатору (0-3 по каждому критерию): К1 постановка задачи и цель; К2 план/метод; К3 реализация/прототип; К4 проверка/тестирование; К5 документация и защита. Итог - сумма 0-15 и профиль качества.

7.4. Интерпретация результатов

Мониторинг нужен для корректировки экосистемы: сбор данных - 1-3 ключевые проблемы - решение на следующую четверть - проверка эффекта в следующем мониторинге.

7.5. Апробация модели и фиксация педагогического эффекта

Для подтверждения педагогической результативности экосистемы рекомендуется описывать апробацию как управляемую процедуру с фиксированными инструментами и периодичностью. Минимальный набор шагов:

- выборка и условия: параллель/профиль, количество групп, режим доступа к контурам (открыто/закрыто);

- период: четверть/полугодие/год с контрольными точками (квартальный мониторинг, см. Приложение Б);

- инструменты сбора данных: анализ артефактов (решения, протоколы проверки), рубрикатор (Приложение А), журнал инцидентов (Приложение Г);

- показатели: выполнение обязательного минимума, сдача в срок, устойчивость ритма практики, качество проекта по рубрикатору, количество типовых инцидентов;

- этика и безопасность: только агрегированные данные, без публикации персональной информации учащихся; разделение демонстрационных примеров и рабочих данных.