МЕТРИКИ ДЛЯ ОЦЕНКИ И СОВЕРШЕНСТВОВАНИЯ ПРОФЕССИОНАЛЬНОЙ ДЕЯТЕЛЬНОСТИ ПЕДАГОГА

АННОТАЦИЯ

В настоящее время начинают появляться цифровые сервисы, позволяющие анализировать и оценивать профессиональные компетенции педагога. Однако зачастую эти сервисы используют формальные метрики, которые не во всех случаях адекватно отражают различные аспекты деятельности педагога. Стало быть, аналитика, проведенная на их основе, не всегда реально отражает как проявления профессиональной компетентности, так и недостатки, определяемые профессиональными дефицитами. Кроме того, как правило, цифровые системы заточены на диагностику, а не на обучение педагога с целью коррекции его деятельности. В статье приведены результаты аналитической и проектной работы сотрудников Института содержания, методов и технологий образования МГПУ, которые разработали свой подход к формированию набора метрик, адекватного решаемой задаче – оцениванию качества педагогической деятельности на основе анализа профессиональной речи – и сформировали этот набор. Проведена экспертная оценка разработанного набора метрик, показавшая положительные результаты, а на следующем этапе предстоит интеграция набора метрик в сервисы методической поддержки Московской Электронной школы.

ABSTRACT

Currently, digital services are emerging that allow you to analyze and assess the professional competencies of teachers. However, these services often use formal metrics, which do not adequately reflect various aspects of the teacher's activity in all cases. Therefore, the analysis that carried out on their basis does not always really reflect both the manifestations of professional competence and the shortcomings determined by professional deficits. In addition, as a rule, digital systems focused on diagnostics, but not on educating a teacher in order to correct his activities. The article presents the results of the analytical and project work by the staff of the Institute of Education Content, Methods and Technology at the Moscow City University. They developed their own approach to the formation of a set of metrics adequate to the task solved – assessing the quality of pedagogical activity based on the analysis of professional speech – and formed this set. An expert assessment carried out of the developed set of metrics, which showed positive results, and the next stage would be the integration of the set of metrics into the methodological support services of the Moscow Electronic School.

Ключевые слова: компетенции педагога, профессиональные навыки педагога, анализ речи педагога.

Keywords: the teacher's competencies, the teacher's professional skills, the analysis of the teacher's speech.

Введение

Развитие профессиональных компетенций учителя – одна из основных задач современного образования, напрямую влияющая на качество результатов учащихся. Традиционными формами оказания методической поддержки педагогам являются курсы повышения квалификации, семинары, стажировки, посещение и анализ уроков. Однако с развитием информационных технологий расширяются возможности применения инновационных форм и методов оказания персонализированной поддержки педагогам, основанных на оценке их профессиональных компетенций.

В связи с этим современными исследователями разрабатываются различные модели оценки профессиональных компетенций педагога. Например, разработан метод оценивания профессиональной деятельности учителя на основе анализа видеозаписей учебных занятий. [1, с. 52]. Модель, которая строится по результатам анализа, включает когнитивные, социальные и функциональные компетенции. Когнитивные компетенции раскрывают особенности мыслительной деятельности. Социальные обеспечивают взаимодействие с окружающими и определяют качество индивидуального взаимодействия. К ним относятся функции мотивации обучающихся, выявление их потенциала, диагностика и планирование развития. Функциональные компетенции связаны с организацией процесса обучения, функциями по созданию необходимой образовательной среды. Авторы данной модели отмечают, что для объективной оценки деятельности учителя данным методом рекомендуется записать и оценить не менее пяти уроков этого учителя.

Одно из современных направлений методического сопровождения учителей основано на применении возможностей искусственного интеллекта. Исследования показывают, что искусственный интеллект способен анализировать речь учителя, определять, сколько учащихся он опрашивает на уроке, сколько времени на уроке говорит сам учитель, поощряет ли педагог учеников, происходит ли на уроке постановка целей и задач, обратная связь и др. [6].

Искусственный интеллект способен анализировать не только речь, но и эмоции участников образовательных отношений. «В настоящее время применение методов машинного обучения с использованием моделей нейронных сетей позволяет решать многие задачи. Например, исследователи в области образования способны автоматизировать измерение вовлеченности студентов в процесс обучения. Сегодня в России и Китае разработаны системы распознавания эмоций для оперативного выявления изменений качества занятий. Ученые натренировали модели машинного обучения для автоматического измерения уровня вовлеченности с помощью видеокамер в аудиториях» [4, стр. 44].

Следовательно, искусственный интеллект способен частично заменить эксперта на уроке и не только анализировать методические и организационные аспекты урока, но и на основе выполненного анализа и заданных алгоритмов выявлять точки совершенствования отдельных аспектов взаимодействия учителя с учащимися, чтобы сделать организацию урока более эффективной. Это особенно актуально, так как процедура посещения и анализа уроков методистами и членами управленческих команд затратна по времени и ресурсам. Кроме этого, выполнение анализа записи урока компьютером позволяет во многом решить проблему субъективности оценивания и предвзятого отношения. Вместе с тем, применение автоматизированного анализа урока помогает избегать стрессовых ситуаций для учителя, связанных с посещением урока проверяющими, что представляется очень важным, поскольку благополучие учителей, их удовлетворенность работой по данным международных исследований существенно влияют на улучшение академических результатов учащихся наряду с такими факторами, как профессио­нальное взаимодействие, насыщенная образовательная среда, школьная культура и школьное руководство [9].

Анализ урока компьютерной системой отражает одну из особенностей современного образования, состоящую в том, что «предпочтение отдается бесконтактным формам отношений по сравнению с контактными формами взаимодействия участников образовательного процесса» [3, с. 77].

Таким образом, искусственный интеллект способен стать помощником учителя в анализе урока, определении дефицитов и формировании рекомендаций по улучшению взаимодействия с учениками.  При этом принципиальный вопрос состоит в том, по каким метрикам, на основании каких критериев необходимо проводить данный анализ.  Необходимо определить, какие речевые формулы в речи учителя могут свидетельствовать о тех или иных методических приемах, об организации тех или иных видов деятельности учащихся.

Исходя из вышеизложенного в качестве основных задач аналитической и проектной деятельности рабочей группы ставились следующие:

– определить основания и разработать подход к формированию набора метрик, позволяющих адекватно оценивать качество педагогической деятельности на основе анализа профессиональной речи;

– на основе разработанного подхода сформировать такой набор метрик.

Материалы и методы

Обозначенные выше задачи решались в три этапа.

На первом этапе, связанном с выделением оснований для отбора метрик оценивания деятельности учителя по аудиозаписям уроков, было необходимо проанализировать имеющиеся ресурсы. Предварительный анализ показал, что подобных сервисов в завершенном виде, находящихся в общем доступе, фактически нет. Исключением можно считать сервис, которым уже сейчас можно пользоваться, несмотря на то, что процесс его формирования пока не завершен: это сервис «Ассистент преподавателя» [8], разработанный исследователями «Академической лаборатории» СберОбразования.  Его метрики и были проанализированы.

По результатам анализа метрик были выявлены определенные недостатки, их учет стал одним из оснований для формируемого нового набора метрик.

Поскольку формулировки метрик должны подсказывать учителю, как эффективнее организовывать деятельность учащихся, чтобы они были вовлечены в урок, в качестве еще одного основания для формирования набора метрик был проведен анализ методических дефицитов, влияние которых на свою работу педагоги ощущают сами. Для проведения такого анализа были использованы результаты опроса учителей, организованного исследователями ИСМиТО весной 2024 года. В опросе о том, по каким направлениям им прежде всего необходима методическая поддержка, приняли участие более 15 000 учителей школ города Москвы.

С учетом приведенных оснований рабочая группа отбирала метрики. Кроме этих оснований, при отборе метрик учитывались еще два. Одно из них – основные положения теории учебной деятельности (В.П. Беспалько, А.Б. Воронцов, Т.В. Габай, О.С. Гребенюк, Т.Б. Гребенюк, В.В. Давыдов, И.А. Зимняя, И.И. Ильясов, А.К. Маркова, Г.А. Цукерман, Д.Б. Эльконин и мн. др.). Еще одно обусловлено техническими возможностями распознавания речи: поскольку оценка осуществляется на основе аудиозаписи речи учителя на уроке, важно, чтобы данные метрики было возможно распознать именно по речи учителя.

Результаты и обсуждение

По утверждению разработчиков, сервис «Ассистент преподавателя» позволяет проанализировать урок по следующим метрикам:

– распределение разговора (речь учителя, смешанная речь, минуты тишины),

– скорость речи учителя,

– социальные приемы (маркеры руководства, обращение к конкретному ученику, выражение похвалы, мы-режим, я-режим, обозначение границ урока, негативное оценивание),

– методические приемы (инструктирование учеников, поощрение учеников, постановка целей и задач, создание позитивного климата, объяснение домашнего задания, поддержка дисциплины, начало урока, поддержка инициативы),

– эмоциональная модальность (позитивная, негативная, нейтральная).

Анализ, проведенный рабочей группой, показал, что часть предложенных метрик действительно позволяет сделать важные наблюдения за работой учителя. Например, проследить, чья речь преобладает на уроке, какую часть урока высказываются ученики, что косвенно свидетельствует об их активности. Использование «мы-режима» говорит о том, что учитель пытается на уроке вовлечь учащихся в решение общих задач, показывает значение участия школьников в уроке. «Употребляя то или иное местоимение, пусть и непроизвольно, учитель распределяет ответственность, закрепляет как собственные обязательства, так и обязательства учеников» [4, с. 203]. Реплики учителя, указывающие на поощрение и поддержку учеников, помогают оценить то, как учитель формирует положительную атмосферу в классе. Анализ речи учителя по данным метрикам может помочь педагогу сориентироваться, что нужно изменить в уроке, чтобы повысить его эффективность.

Но использование других метрик можно назвать формальным, они дают возможность констатировать некоторые факты об уроке, но не могут стать для учителя ориентиром к улучшению преподавания. Например, обозначение границ урока, начала урока, объяснение домашнего задания указывают на организационные элементы урока, но не влияют на качество урока и не позволяют характеризовать компетенции учителя.

Метрика постановки целей и задач может проявляться не на каждом уроке. Если учитель работает в логике задачного подхода, постановка целей и задач происходит в начале изучения темы, и на всех уроках изучения темы организовывать целеполагание нет необходимости. Введение данной метрики будет давать учителям неверный сигнал о том, что якобы целеполагание должно быть на каждом уроке независимо от его типа, и может привести к формализации этого важного этапа организации деятельности учащихся.

Метрика инструктирования учеников определена недостаточно точно. Под инструктированием понимается показ и объяснение учебных действий. Но важно не просто констатировать наличие инструктирования на уроке, а анализировать, как именно оно организовано, насколько четко, логично и последовательно, какими методами и приемами, при помощи каких вопросов.

Такие метрики, как поддержка инициативы и дисциплины, скорее относятся к организационным, чем методическим. Кроме этого выявлено, что выражение похвалы (социальный прием) и поощрение учеников (методический прием) слабо различаются в выполненных отчетах по анализу уроков.

Проведенный анализ метрик «Ассистента преподавателя» и отчетов, выполненных системой на их основе, наряду с приведенными выше, позволил сделать следующие выводы:

– для того, чтобы говорить об использовании учителем тех или иных методических приемов, необходимо анализировать не отдельный урок, а несколько уроков темы;

– инструмент анализа аудиозаписей урока важно использовать не только для оценки аудиозаписей урока, но и для обучения педагогов.

При организации опроса учителей по методическим дефицитам им на выбор были предложены направления:

– способы повышения мотивации;

– работа с учащимися с низкими образовательными результатами;

– методика проведения современного урока;

– предупреждение и регулирование конфликтных ситуаций;

– подготовка к ЕГЭ;

– работа в Московской электронной школе;

– психолого-педагогические особенности учащихся разных возрастов;

– подходы к оцениванию образовательных результатов учащихся.

Также учителям была предоставлена возможность указать другие темы. Результаты опроса учителей представлены на диаграмме 1.

Диаграмма 1. Результаты опроса учителей об интересуемых направлениях методической поддержки

На первое место более 50% учителей поставили вопросы мотивации учащихся (см. диаграмму 1). Таким образом, можно говорить о главной проблеме, которая больше всего волнует педагогов – способы вовлечения и мотивации учащихся к активной познавательной деятельности. Поэтому перед рабочей группой встала задача разработки таких метрик, при помощи которых можно было бы не только выявлять, пытается ли учитель вовлекать, мотивировать учеников, но и оценивать, как именно он это делает.

При разработке метрик важно было учитывать особенности современных школьников, их потребности и интересы. По этой причине возникла необходимость использования в работе положений теории поколений, согласно которой современных учеников поколения «Z» и «альфа» характеризуют следующие особенности [5; 7]:

– более амбициозны, эгоцентричны, любят внимание, им важна самопрезентация,

– менее самостоятельны, ждут подробных инструкций,

– за каждую выполненную работу ждут вознаграждение,

– общаются со старшими на равных, слабо определяют социальные границы,

– предпочитают книгам электронный контент, им важна визуализация,

– не стремятся запоминать информацию, но знают, где её можно найти,

– не любят монотонность, предпочитают постоянную смену впечатлений и информации.

Ряд метрик отобран с учетом этих особенностей. В частности, метрика «создание ситуации выбора» основывается на положении о том, что предоставление учащимся выбора формирует их самостоятельность и позволяет включать в активную деятельность [2, с.116].

Результаты отбора метрик оценки, мотивации и вовлечения учащихся в учебную деятельность и предлагаемые способы их измерения приведены в таблице 1.

Таблица 1.

Метрики оценки, мотивации и вовлечения учащихся в учебную деятельность

Кроме этого, анализируя речь учителя на уроке, можно оценить, какими способами организуется познавательная деятельность учащихся. В частности, понять какие вопросы чаще всего использует педагог: информационные, аналитические, уточняющие, проблемные или рефлексивные, что может свидетельствовать о том, какая деятельность учащихся преобладает на уроке: репродуктивная или продуктивная. Какие виды и формы деятельности учащихся обозначаются на уроке: работа с учебником, доской, работа в группах или парах, практические, лабораторные работы, проекты и др. Таким образом была сформирована вторая группа метрик по оценке и обучению педагогов способам организации познавательной деятельности учащихся (см. таблицу 2).

Таблица 2.

Метрики оценки и обучения педагогов способам организации познавательной деятельности

Кроме этого, стало понятно, что инструмент анализа аудиозаписи урока можно использовать для определения причин непрохождения рабочей программы по учебному предмету. Используя речевой анализ записи урока, можно выявлять наличие или отсутствие в содержании уроков тех или иных дидактических элементов рабочей программы. Для этого необходимо сопоставить, какие элементы содержания должны быть согласно рабочей программе и какие из них упоминаются на уроках.

Заключение

Таким образом, методистами и экспертами Института содержания, методов и технологий образования МГПУ разработаны метрики, которые можно использовать для оценки аудиозаписей уроков и обучения педагогов:

- метрики мотивации и вовлечения учащихся,

- метрики организации познавательной деятельности,

- метрики выявления причин непрохождения программы.

Разработанный набор метрик проанализирован экспертами ИСМиТО, а также прошел широкое общественно-профессиональное обсуждение среди учителей московских школ.

Данные метрики планируется использовать в сервисе методической поддержки педагогов Московской электронной школы. Планируется создание возможности для учителей загружать аудиозаписи уроков и получать отчеты с анализом проявления данных метрик в уроке и последующими рекомендациями по улучшению взаимодействия с учащимися.

Список литературы:

1. Айгунова О.А. Метод анализа видеозаписей учебных занятий как инструмент оценивания профессиональной деятельности учителя / О.А. Айгунова, С.А Ильичева, С.М. Лесин, В.А. Мкртчян, Э.М.В. Саликова // Интерактивное образование. – 2018. – № 1. – 2. – С. 52–56.
2. Воронцов А.Б. Педагогическая технология контроля и оценки учебной деятельности. Образовательная система Д.Б. Эльконина – В.В. Давыдова / А.Б. Воронцов. – Москва: Рассказовъ, 2002. – 303 с.
3. Ижбулатова Э.А. Инновационные технологии образовательной деятельности в диджитальную эпоху / Э.А. Ижбулатова, Л.Х. Салимова // Педагогический журнал Башкортостана. – 2019. – № 3(82). – С.75 –77.
4. Казаченок В.В. Применение нейронных сетей в обучении / В.В. Казаченок // Информатика и образование. – 2020. – № 2. – С. 41–47.
5. Попова А.А, Черная Е.В., Власова О.С. Применение «теории поколений» в образовательном процессе для совершенствования освоения информационных дисциплин / А.А. Попова, Е.В. Черная, О.С. Власова // Челябинский гуманитарий. – 2023. – № 4(65). – С. 87–92.
6. Сергоманов П., Мальцев М., Бысик Н., Бекетов В., Байбурин Р. Социология урока: дискурсивная организация результативных учительских практик / П. Сергоманов, М. Мальцев, Н. Бысик, В. Бекетов, Р. Байбурин // Вопросы образования. – 2023. – № 1. – С. 191–218.
7. Федюк Н.В. Теория поколений и практика образования / Н.В. Федюк, М.Е. Байкова // Homo instagramus: человек в цифровом обществе. Материалы межвузовской студенческой научно-практической конференции. – Москва, 2018. – С. 39–45
8. Ассистент преподавателя: сайт сервиса ООО «СберОбразование» – Москва. – URL: https://edu-assist.me/ (дата обращения: 27.10.2024).
9. OECD (2023), Education at a Glance 2023: OECD Indicators, OECD Publishing. – Paris. URL: https://doi.org/10.1787/e13bef63-en. (дата обращения: 10.11.2024)