Исследование достоверности и надежности шкалы по самооценке педагогической компетентности

АННОТАЦИЯ

Целью данного исследования, является разработка шкалы по самооценке педагогических компетентностей учителей. Выборку исследования составляют 309 студента педагогических факультетов Университета имени Ишеналы Арабаева и Бишкекского Гуманитарного Университета (БГУ). Данные для данного исследования были собраны на основании пробной шкалы, состоящей из 45 элементов. Полученные данные также были проанализированы на предмет достоверности и надежности. В результате анализов была разработана “Шкала по самооценке педагогической компетентности (СПК)” состоящей из 39 элементов собранных на основе 2 факторов. Значение КМО шкалы СПК составило 0,981; значения теста Барлетта составило x²=11934,498; sd=990; p<0,000. Элементы в шкале раскрывают 62 536% от общей дисперсии. Коэффициент достоверности шкалы Кронбаха составляет 0,972.

ABSTRACT

The purpose of this study is to develop a scale that can be used to determine the self-assessment of teacher candidates about teaching competencies. The sample of the study consists of 309 students studying at the education faculties of Ishenaly Arabaev University and Bishkek State University. The data of the research were collected with a draft scale of 45 items. Validity and reliability analyzes were performed over the data. At the end of the analysis; "Teaching Proficiency Self-Assessment Scale" was developed. It contents 2 factor and 39 item. The KMO value of the scale was 0.998; Bartlett Test values x² = 11934,498; sd = 990; p <0.000. The items in the scale explain 62,536% of the total variance. Cronbach alpha reliability coefficient of the scale is 0.972.

Ключевые слова: педагогическая компетентность, самооценка, учитель, разработка шкалы.

Keywords: Teaching competence, self-assessment, teacher candidate, scale development.

Введение

Учителя во все времена считались передовиками образования личности и общества. Ученые, писатели и мыслители часто утверждают, что учителя играют важную роль в успехе систем образования. (Şişman, 2019; Yılmaz, 2017). Учителя, которые принимают непосредственное участие в планировании, реализации и оценке образования, оказывают значительное влияние на формирование личности и общества. По мнению Дедебал, Кубата и Дурсуна (2018), ни одна система образования не сможет превзойти учителя по уровню качества, то и есть все системы образования напрямую зависят от качества учителя.

При изучении научной литературы, можно наблюдать тот факт, что понятия «квалифицированный учитель», «эффективный учитель», «хороший учитель», «идеальный», «позитивный», «профессиональный» или «мастер своего дела» часто используются взаимозаменяемо. (Kızıltepe, 2002; Karagozueva, 2015; Özabacı ve Acat, 2005; Baitikova, 2016; Eryılmaz ve Bek, 2018; Özkan ve Arslantaş, 2013; Bozkuş ve Marulcu, 2016; Dedebal, Kubat ve Dursun, 2018). Абсолютно все исследования научной литературы по данной тематике можно оценить, как результат усилий по подготовке более квалифицированных учителей.

Вопрос о том, кто является хорошим/ квалифицированным влиятельным учителем, стал предметом многих научных исследований (Tuncel ve Balcı, 2015; Aidarova ve Ergeşali Kızı, 2016; Farmer, 2018; Eryılmaz ve Bek, 2018). Таким образом, в исследованиях описывается профиль учителя, который пытаются интегрировать в систему общего образования с системами подготовки учителей;

Таким образом, был определен профиль учителя, который далее был интегрирован в систему общего образования и систему подготовки учителей для дальнейшего использования в процессе выбора, подготовки или назначения учителей.

Теме подготовки учителей в системе образования Кыргызстана были посвящены исследования Бообековой (2002), Душевой (2017, 2018), Жумабековой (2016), Байтиковой (2016), Айдаровой и Эргешалы кызы (2016), Карагозуевой (2015), Атанаева и Токонбековой (2016), Балжы, Алимбекова и Бообековой (2017), Идаевой и Унал (2017), Гуля (2015, 2019), Шишмана и Ары (2009), Эти работы в большинстве несут теоретический и обощающий характер.  Кроме этого Данияр уулу и Йешил (2020) попытались описать перспективу   работы учителя, ну а Йешил (2019) положительный и отрицательный профили учителей в кыргызском обществе в представлениях студентов факультета психологического консультирования и руководства с помощью качественных методов анализа.

Таким образом, можно утверждать, что в кыргызской научной литературе есть особенная необходимость в исследованиях касающихся качеств учителя с использованием количественных или качественных методов анализа. Как следствие, будет полезным определить качественные характеристики хорошего учителя, в котором нуждается кыргызское общество; и уровень того, насколько нынешние и будущие учителя обладают такими качествами. Выводы, сделанные в результате этих анализов, будут полезны в процессе создания формата обучения учителей в системе подготовки и повышения квалификации  учителей.

Однако следует отметить, что для осуществления такого рода исследований в первую очередь необходимы инструменты сбора данных. Некоторые валидные и надежные инструменты сбора данных, в которых учителя или потенциальные учителя могут проводить самооценку или взаимную оценку, могут служить примером таких инструментов. В этом направлении можно осуществить два типа исследования. Первый тип, это применение инструментов сбора данных, использованных в многочисленных научных работах зарубежом в кыргызской популяции. Другой тип предполагает разработку новой шкалы, подходящей кыргызской популяции в свете актуальных общественных и образовательных процессов в Кыргызстане. Учитывая тот факт, что кыргызское общество имеет свои культурные ценности, ожидания от образования и взгляды на образовательные процессы, которые заметно отличаются от зарубежных, то можно утверждать, что второй тип является наиболее правильным. 

Данное исследование было проведено именно по данному вопросу и направлено на разработку инструмента сбора данных. Главной задачей данного исследования, является разработка инструмента сбора данных, который будет использоваться учителями для самооценки педагогических компетентностей.   

1.1. Цель исследования

Главная цель данного исследования, разработка достоверного и надежного инструмента (шкалы) сбора данных, который будет использоваться учителями для самооценки их педагогических компетентностей. Таким образом, целью является внедрение инструмента сбора данных в научную литературу, которое поможет при определении образовательных потребностей для дальнейшего использования в процессе подготовки образовательных программ педагогических факультетов.  В этой связи, были заданы следующие вопросы:

1. Каково количество и содержание элементов?

2. Каковы особенности достоверности?

3. Каковы особенности надежности?

4. Каковы правила оценки и интерпретации? - Инструмента (шкалы) сбора данных, который будет использоваться учителями для самооценки их педагогических компетентностей?

2. Метод исследования

Задачей исследования является количественное описание существующей ситуации, поэтому можно утверждать, что исследование носит описательный и количественный характер (Balcı, 2015: 15; Karasar, 2012: 76-79). В исследовании была разработана достоверная и надежная шкала для определения самооценки будущих учителей с точки зрения педагогических компетенций.

2.1. Генеральная совокупность и выборка исследования

Генеральную совокупность (популяция) исследования составляют студенты 3-4 курсов педагогических факультетов Университета имени Ишеналы Арабаева и Бишкекского Гуманитарного Университета (БГУ) 2019-2020 учебного года.

Выборка исследования была определена методом случайной выборки. 309 студентов, были выбраны случайным образом среди студенческих групп. Эти студенты, у которых были уроки в день сбора данных и которые добровольно ответили на анкету, составили выборочную группу исследования. Распределение выборочной группы исследования по некоторым демографическим характеристикам показано в таблице № 1:

Таблица 1.

Распределение выборочной группы исследования по полу, университету и курсу

2.2. Процесс разработки шкалы

В процессе разработки шкалы в первую очередь была изучена соответствующая научная литература и были проведены собеседования с учителями и студентами. Таким образом, была сделана попытка определить особенности, связанные с компетенциями, которые учитель должен проявлять в процессе обучения. Напротив каждой компетенции были размещены следующие варианты ответов: “(1) Совсем не компетентен”, “(2) Не компетентен”, “(3) Частично компетентен”, “(4) Компетентен” и “(5) Полностью компетентен”. В результате была подготовлена черновая шкала, ​​путем добавления заголовка и инструкции в начало каждого элемента.

Черновая шкала была проверена двумя лингвистами и двумя педагогами на предмет соответствия цели и содержания, а также на выявление стилистических, орфографических и элементуационных ошибок. После выполнения всех предложенных исправлений, была подготовлена шкала из 45 вопросов. Эта шкала была применена к группе из 20 студентов, чтобы они выявили места, которые были им непонятны. Полученные результаты были вновь проверены лингвистами и был подготовлен окончательный вариант черновой шкалы.  Данные, полученные с помощью черновой шкалы были применены к выборке, затем эти результаты были проанализированы программой SPSS 25.00 на предмет достоверности и надежности.

При анализе достоверности данных, собранных с использованием шкалы, был выполнен (1) анализ структурной достоверности и (2) дискриминантный анализ элементов. Для структурной достоверности была использована методика исследовательского факторного анализа. Для анализа был применен метод корреляции между элементами. Уровень надежности шкалы был исследован путем расчета коэффициентов (1) внутренней согласованности и (2) устойчивости. Коэффициент альфа Кронбаха был применен в качестве коэффициента внутренней согласованности, а коэффициентом устойчивости служит коэффициент корреляции теста-повторного теста (ретеста). Для измерения устойчивости, было проведено повторное анкетирование среди 75 студентов с интервалами в 4 недели, затем был проведен корреляционный анализ между двумя анкетированиями.

3. Результаты и выводы исследования

Результаты и выводы, полученниые при анализе достоверности и надежножти данных следуют ниже.

3.1. Результаты анализа достоверности шкалы

В рамках анализов достоверности Шкалы по Самооценке Педагогической Компетентности (шкала СПК), были изучены особенности структурной достоверности и степени различения факторов. Структурная достоверность была проверена с помощью метода исследовательского факторного анализа. Дискриминантный признак был протестирован с применением метода общей корреляции между элементами. Результаты анализов достоверности Шкалы по Самооценке Педагогической Компетентности представлены ниже:

3.1.1. Структурная достоверность

3.1.1.1. Результаты исследовательского факторного анализа

Для тестирования структурной достоверности данные были проверены тестом КМО и тестом Барлетта, в результате были получены следующие значения:  значение KMO=0,982; значение теста Барлетта составило x²= 11934,498; sd=990 (p=0,000). Эти значения (KMO>0,60) показывают, что данные полученные с помощью шкалы СПК из  45 элементов, могут быть проверены с помощью метода исследовательского факторного анализа (Büyüköztürk, 2012: 126; Eroğlu, 2008: 322). В качестве метода факторинга использовался анализ основных компонентов и метод вертикального вращения Варимакс. В этом контексте 6 элементов с факторными нагрузками ниже 0,30 или имеющие менее 0,100 различий между их нагрузками по различным факторам были удалены из шкалы, и анализы были повторены (Büyüköztürk, 2012: 124; Eroğlu, 2008: 322-323).

Было установлено, что в общей сложности 39 элементов, оставшихся в шкале, были собраны вокруг 2 факторов с собственным значением выше 1,00. Значение КМО по шкале из 39 элементов составило 0,981; значения теста Бартлетта равняется x²=10125,641; sd=741; p<0,000. Факторные нагрузки остальных элементов шкалы разнятся между 0,609 и 0,737. Элементы, включенные в шкалу, раскрывают 62, 536 % от общей дисперсии. С точки зрения поведенческих наук достаточно, чтобы количество отклонений составляло 40 % (Büyüköztürk, 2012: 125; Eroğlu, 2008: 323).

Следующим этапом было изучение ключевых понятий и научных исследований, связанных с содержанием элементов, распределенных по факторам и педагогическими компетенциями. Затем были даны  названия факторов. В этой связи, факторы были названы следующим образом: «Принципы и методы обучения и Знание специализации (ПМО-ЗС)» и «Взаимодействие со студентами и Оценка-оценивание (ВС-ОО)». График Scree Plot, составленный в соответствии с собственными значениями факторов, представлен ниже:

Схема  1. График собственных значений факторов шкалы самооценки педагогических компетентностей  

Результаты по нагрузкам факторов 39 элементов, расположенных в шкале СПК и собственными значениями и количествами дисперсии  представлены в таблице № 2.

Таблица 2.

Результаты исследовательского факторного анализа шкалы

Как видно из таблицы № 2, коэффициент нагрузки элементов включают в себя 20 элементов фактора «Принципы и методы обучения и Знание специализации (ПМО-ЗС)» в диапазоне от  0,609 и 0,737. Собственное значение данного фактора равно 23,235; его вклад в общую дисперсию составляет 59,578 %.  Фактор «Взаимодействие со студентами и Оценка-оценивание (ВС-ОО)» включает 19 элементов с коэффициентами нагрузки от 0,621 до 0,708 Собственное значение этого фактора равно 1,154; его вклад в общую дисперсию составляет 2,958 %. В целом, факторные нагрузки предметов считаются выше 0,30, но рекомендуется, чтобы они были выше 0,45 в количественных исследованиях (Büyüköztürk, 2012: 125; Eroğlu, 2008: 322). Вследствие этого можно утверждать, что коэффициенты нагрузок каждого фактора имеют достаточную величину с точки зрения структурной достоверности.

3.1.1.2. Дискриминантный анализ элементов

В соответствии с классической теорией тестирования (KTТ), дискриминантное значение (значение r), рассчитанное как коэффициент корреляции, принимает значение от -1 до 1. Вопросы с низким значением r должны быть рассмотрены и, при необходимости, удалены из теста. Наиболее важной критикой параметров KTТ является то, что они легко зависят от выборки (Hambleton vd. 1993: 40). По этой причине в данном исследовании вместо параметров значения KTТ были использованы скорректированные значения общей корреляции элементов и факторов (DeVellis, 2003: 80-81; Pallant, 2007: 127). Эти данные приведены в таблице № 3:

Таблица 3.

Результаты общей корреляции скорректированных значений элементов

n=305; *=p<0,001

Как видно из таблицы № 3, значения общего коэффициента корреляции скорректированных значений элементов для Фактора ПМО-ЗС (1-20-элементы) варьируются между 0,712 и 0,818; для фактора ВС-ОО (21-39-элементы)  между 0,742 и 0,806. Тот факт, что скорректированный коеффициент корреляции больше 0,20 и имеет значительную величину (p<,05), указывает на то, что данный элемент может значительно служить общему назначению шкалы (Pallant, 2007: 140). Соответственно, можно сказать, что каждый элемент значительно служит общему назначению шкалы.

3.2. Результаты анализа надежности шкалы

Для оценки надежности шкалы были проведены анализы внутренней согласованности и устойчивости данных. Результаты представлены ниже:

3.2.1. Уровень внутренней согласованности

Анализ надежности шкалы, состоящей из 39 элементов и 2 факторов, был выполнен с использованием формулы коэффициента альфа Кронбаха. Значения достоверности для факторов и общей шкалы приведены в таблице № 4:

Таблица 4.

Результаты анализа достоверности в отношении общей шкалы и факторов

Как видно из таблицы 4, коэффициенты надежности альфа Кронбаха составляют 0,968 для фактора ПМО-ЗС, 0,927 для фактора ВС-ОО и для общей шкалы СПК  - 0,972. Значения альфа Кронбаха составляет 0,60 и выше, данное значение  достаточно для надежности. (Malhotra, 1999: 282; Kalaycı, 2010: 405). Как следствие, можно утверждать, что шкала способна выполнять надежные (последовательные) измерения.

3.2.2. Функция выполнения устойчивых измерений

Способность щкалы давать одни и те же измерения при применении в разное время, является показателем ее устойчивости и данная особенность может оцениваться как критерий надежности (Balcı, 2015: 114). Функция шкалы СПК (YDÖUÖ) выполнять устойчивые измерения был проверен с помощью теста-повторного тестирования (тест-ретест).   Форма шкалы, состоящая из 30 элементов, была повторно протестирована среди 150 студентов через шесть недель. Баллы, полученные в результате двух тестирований, были изучены на предмет взаимозависимости, как с точки зрения каждого элемента и фактора, так и с точки зрения шкалы в целом. Результаты представлены в таблице № 5.

Таблица 5.

Результаты теста-повторного теста (тест-ретест) элементов шкалы

n=75; *=p<0,001

В таблице № 5 коэффициенты корреляции теста – повторного теста (тест-ретест) для фактора ПМО-ЗС (1-20-элементы) варьируются между 0,300 и 0,501; для фактора ВС-ОО (21-39-элементы) между 0,337 и 0,482. Каждая взаимосвязь имеет значимое значение p <, 001. Таким образом следует вывод, что каждый элемент шкалы способен выполнять устойчивые измерения (Büyüköztürk, 2012: 170-171).

Заключение и предложения

Целью данного исследования, является разработка шкалы по самооценке педагогических компетентностей студентов бакалавриата педагогических факультетов. Шкала, называющаяся Шкала по самооценке педагогических компетентностей (СПК), является пятиуровневой шкалой типа Лайкерта и состоит из 39 элементов, собранных на основе двух факторов.

Для того, чтобы определить частоту, с которой студенты отображают учебную практику, напротив каждого из элементов были даны следующие варианты ответов: “(1) Совсем не компетентен”, “(2) Не компетентен”, “(3) Частично компетентен”, “(4) Компетентен” и “(5) Полностью компетентен”. С другой стороны, поскольку количество элементов в факторах различно, можно предложить использовать следующую формулу для преобразования баллов, полученных из факторов и общей шкалы, в стандартный балл. Интерпретация полученных баллов, могут быть сделаны по средним арифметическим значениям, а также могут быть сделаны оценки с помощью этой формулы, сконструировав самое низкое значение равное 20 и самое высокое значение равное 100 баллов. В таблице № 6 приведены средние арифметические и стандартные оценки и их значения:

Таблица 6.

Значения стандартных баллов и средних арифметических величин по сто-бальной системе измерения, полученных из шкалы

Достоверность шкалы была проверена путем расчета общей корреляции в результате (1) исследовательского факторного анализа и (2) дискриминантного анализа. Согласно результатам исследовательского факторного анализа, шкала СПК включает в себя 39 элементов, имеющих собственное значение выше 1,00, которые были собраны на основе двух факторов. Фактор ПМО-ЗС (1-20-элементы) состоит из особенностей, касающихся компетентностей педагога в области применения принципов и методов обучения в образовательном процессе и знания специализации. Фактор ВС-ОО (21-39-элементы) состоит из элементов, касающихся компетентностей педагога по умению педагога взаимодействовать со студентами и навыками оценки и оценивания.  

В заключение, можно утверждать, что шкала СПК является достоверной и надежной шкалой и может использоваться будущими учителями для самооценки уровня их педагогических компетентностей. С другой стороны, данная шкала может использоваться также для оценивания компетентностей специалистов, работающих педагогами в начальных, средних и высших учебных заведениях. Однако следует отметить, в таком случае будет полезно повторно провести анализы достоверности и надежности.

Данные, собранные этой шкалой, будут способствовать определению потребностей в обучении и могут быть полезны в процессе создания программ обучения в системе подготовки и повышения квалификации учителей.

Список литературы:
1. Aidorova, M.D. ve Ergeşali Kızı, M.D. [Айдарова М.Д., Эргешали Кызы А.] (2016). Модель Качеств Профессиональной Компетентности И Методического Мастерства Будущего Учителя Начальных Классов. Известия Вузов Кыргызстана, 7 (1), 16-19.
2. Atanaev, T.B., Tokonbekova, K.Ç. [Атанаев Т.Б., Токонбекова К.Ч.], (2016). К Вопросу Формирования Профессиональной Компетенции Учителя Естественно-Научных Дисциплин. Известия Вузов Кыргызстана, 5 (1), 184-186.
3. Baitikova, T.A. [Байтикова Т.А.] (2016). Психологические Особенности Учителя Начальных Классов. Известия вузов Кыргызстана, 7 (1), 136-137.
4. Balcı, Ali (2015). Sosyal bilimlerde araştırma: Yöntem, teknik ve ilkeler. Ankara: PegemA Yayınevi.
5. Balcı, S., Alimbekov, A. ve Boobekova, K. (2017). Geçmişten Günümüze Kırgızlarda Eğitim. Kırgızistan: Tarih-Toplum-Ekonomi-Siyaset. (Editör: C. Buyar). Bişkek: Kırgız-Türk Manas Üniversitesi Orta Asya Araştırmaları Merkezi (ORSAM) Yayınları, ss. 531-556. ISBN 978-9967-28-095-3.
6. Boobekova K. (2002). Karşılaştırmalı Eğitim Uygulaması: Kırgızistan Ve Türk Eğitim Sistemleri Örneği, Türk Dünyası Araştırmaları Dergisi, 137.
7. Bozkuş, K. & Marulcu, İ. (2016). Öğretmen Adaylarına Göre Etkili Öğretmen Nitelikleri. 8. Uluslararası Eğitim Araştırmaları Kongresi, Çanakkale, Türkiye. 07.10.2019 tarihinde
8. Büyüköztürk, Ş. (2012). Sosyal bilimler için veri analizi el kitabı. Ankara: Pegem Yayınları.
9. Cumabayeva, D.C. [Жумабаева, Д. С.] (2016). Роль Учителя В Формировании Компетентности На Уроках Кыргызской Литературы. Известия Вузов Кыргызстана, 8 (1), 152-154.
10. Daniyar Uulu, N. ve Yeşil, R. (2020). Kırgız toplumunda iyi ve kötü öğretmen profili: Öğretmen adayı perspektifi. Uluslararası Sosyal Bilimler Kongresi USBİK-2020 (25-27 Ocak 2020). Kayseri, Türkiye.
11. Dedebal, N.c., Kubat, U. ve Dursun, F. (2018). Hiçbir Eğitim Sisteminin Kalitesi Öğretmenin Kalitesini Aşamaz. Turkish Studies Educational Sciences. 13(27), 531-546. ISSN: 1308-2140.
12. DeVellis, R.F. (2003). Scale development: Theory and application. California: Sage Publications.
13. Duşeva, H. (2017). Мугалимдердин Квалификациясын Жогорулатуу-Билим Санатын Летеруунун Негизги Фактору Болуудда. Кут Билим Газетасы (20.01.2017).
14. Duşeva, H. (2018). Биздин Максат- Квалификациясын Жогорулатуунун Сапатын Камсыз Кылуу. Кут Билим Газетасы (22.01.2018).
15. Eroğlu, A. (2008). Faktör analizi. Spss uygulamalı çok değişkenli istatistik teknikleri. Ş. Kalaycı (Editör). (ss. 321-331). Ankara: Asil Yayın Dağıtım.
16. Eryılmaz, A., ve Bek, H. (2018). “Pozitif Öğretmen Ölçeği” Öğretmen Formunun Geliştirilmesi. Kastamonu Eğitim Dergisi, 26(4), 1297-1306. doi:10.24106/kefdergi.369825
17. Farmer, A. (2018). The İmpact Of Student-Teacher Relationships, Content Knowledge, And Teaching Ability On Students With Diverse Motivation Levels. Language Teaching and Educational Research. 1(1)13-24.
18. Gül, Y.E. (2015). Öğretmen Yetiştirme Sistemlerinin Karşılaştırılması: Almanya Ve Kırgızistan Örneği. Uluslararası Türk Eğitim Bilimleri Dergisi. 4, 68-83.
19. Gül, Y.E. (2019). Günümüzde Türk Devletlerinde Örgün Eğitim. Ankara: Nobel Yayınevi.
20. İdaeva, A. ve Ünal, U. (2017). Kırgızistan Eğitim Sisteminin Temel Özellikleri. Kırgızistan: Tarih-Toplum-Ekonomi-Siyaset. (Editör: C. Buyar). Bişkek: KTMÜ Orta Asya Araştırmaları
21. Kalaycı, Ş. (2010). SPSS uygulamalı çok değişkenli istatistik teknikleri. Ankara: Asil Yayın Dağıtım.
22. Karagozuyeva, G.C. [Карагозуева Г.Ж.] (2015). Педагогическая Культура. Известия Вузов Кыргызстана, 7 (1), 222-225.
23. Karasar, N. (2012). Bilimsel araştırma yöntemi. 23. Baskı. Ankara: Nobel Yayınevi.
24. Kızıltepe, Z. (2002). İyi ve Etkili Öğretmen. Eğitim ve Bilim. 27(126), 10-14.
25. Malhotra, N.K. (1999). Marketing research: an applied orientation. 3rd Edition. New Jersey: Upper Saddle River Prentice Hall.
26. Özabacı, N. ve Acat, B.M. (2005). Öğretmen Adaylarının Kendi Özellikleri İle İdeal Öğretmen Özelliklerine Dönük Algılarının Karşılaştırılması. Kuram ve Uygulamada Eğitim Yönetimi. 11(2), 211-236.
27. Özkan, M. ve Arslantaş, H.İ. (2013). Etkili Öğretmen Özellikleri Üzerine Sıralama Yöntemiyle Bir Ölçekleme Çalışması. Trakya University Journal of Social Science. 15(1), 311-330.
28. Pallant, J. (2007). SPSS survivalmanual: A step by step guide to data analysis using SPSS. Sydney: Allen&Unwin, Sabon by Bookhouse.
29. Şişman, M. (2019). Eğitim Bilimine Giriş. Ankara: Pegem Akademi Yayınları.
30. Şişman, M. Ve Arı, A. (2009). Kırgızistan’da Eğitimin Temel Problemleri Ve Öğretmenlerin Hizmet İçi Eğitim İhtiyacı. KTMÜ Sosyal Bilimler Dergisi. 21, 133-147.
31. Tuncel, G. Ve Balcı, A. (2015). Demokratik Toplumlarda Öğretmen Nitelikleri Ve Öğrencilere Yansımaları. Marmara Coğrafya Dergisi. 31, 82-97.
32. Yeşil, R. (2019). PDR bölümü öğrencilerinin kendilerinde tesir bırakan öğretmen özelliklerine ilişkin değerlendirmeleri. International Human and Civilization Congress From Past to Future (INES 2019)(17-21 Nisan 2019). Alanya, Türkiye.
33. Yılmaz, H. (2017). Öğretmenim Lütfen Bu kitabı Okur musun!. Konya: Çizgi Yayınevi.