Вы здесь

ИСКРИВЛЕННОЕ ЗЕРКАЛО: НАСКОЛЬКО ОБЪЕКТИВНО ОЦЕНИВАЕТСЯ КАЧЕСТВО РАБОТЫ ШКОЛ?

Версия для печатиPDF version

Современное образование №1 (105) 2017

Поиск и трансляция лучших школьных практик являются ключевыми задачами системы школьного образования. Поэтому измерение эффективности школ — это обязательный этап в повышении качества среднего образования. 

В статье на примере Великобритании и Казахстана будут рассмотрены такие подходы к оценке качества работы школ, как итоговое тестирование, инспектирование школ и метод измерения добавленной ценности школы. Статья адресована широкой общественности и работникам сферы образования.

Итоговое тестирование – показатель эффектив ности школ?

Одним из наиболее распространенных источников информации об успехах школы на сегодня являются результаты итоговых тестирований и экзаменов. Они официально и неофициально используются для оценивания качества работы школ и обеспечения их подотчетности (Koretz, 20021; Lum (ред.), 20152). 

Так, результаты казахстанского ЕНТ цитируются на августовских конференциях, фигурируют в разного рода отчетах о достижениях отдельных школ на региональном уровне. Однако, их репрезентативность вызывает сомнения – и наиболее очевидной причиной является уменьшающаяся доля выпускников, участвующих в итоговом тестировании (рис. 1).

Неоднозначная ситуация наблюдается и в малокомплектных школах (МКШ), где выпускной класс могут заканчивать 5-10 учеников, что приводит к неправдоподобно высокому или низкому среднему баллу школы. К сведению, в 2016 году в Казахстане функционировали 3 036 МКШ, в которых обучалось лишь 7% учеников страны.

Более того, существуют вопросы относительно содержания тестов и их направленности на измерение скорее абсолютных знаний (нежели способности выпускников к критическому мышлению и применению знаний на практике). Такая риторика присутствует и в странах, чьи ученики показывают высокие результаты по итогам исследования PISA.

К примеру, в Великобритании3 (кроме Шотландии) национальные выпускные экзамены GCSE4 используются в качестве одного из инструментов оценки школ. В стране ежегодно публикуются рейтинговые таблицы (league tables), ранжирующие школы в зависимости от доли выпускников, успешно сдавших экзамены. Данная практика, однако, критикуется британскими исследователями в области образования, – рейтинги предоставляют родителям лишь «лицевую» часть информации. При том, что на основании данных рейтингов родители принимают решения о выборе школы
для своего чада, это может отражаться на дальнейшем будущем школы (Goldstein и Leckie, 20085).

Исследование Департамента образования Англии (2014 г.): наибольшее влияние на результаты GCSE оказывает уровень образованности родителей учеников. СЭС семьи, получение бесплатного горчего питания ребенком также определяют академические достижения ребенка в 16 лет.

Здесь необходимо отметить квазирыночную систему образования в Англии. В условиях подушевого финансирования школы одного района зачастую конкурируют (Connolly и James, 20066). Так как школы с наибольшим количеством учеников получают соответствующий объем финансирования, неудивительно, что результаты итоговых экзаменов афишируются в качестве рекламы. Представляя собой наиболее понятный для родителей инструмент оценки качества обучения в школе, рейтинговые таблицы в то же время «дезориентируют» их.

Становится ясно, что «работа школ и учителей не может быть точно оценена посредством итоговых оценок учащихся, так как они могут отражать лишь качество набора в школу» (Gorard, 20127). Школы в благоустроенных районах имеют контингент более благополучных первоклассников, с большой вероятностью опережения ими своих сверстников в экономически слабых районах. В свою очередь, в отдельных школах очень высока концентрация учеников из малообеспеченных семей. Около 30% таких учеников пришлось бы сменить школу, если бы было решено равномерно распределить их по стране8.

Означает ли это, что учителя «отстающих» школ работают меньше/хуже своих коллег? 

Value-added – или что школы «добави ли» к прогресс у ребенка 

С начала 2000-х для оценки качества школьного образования в Великобритании начал применяться принцип измерения добавленной ценности (valueadded). Это оценивание школ по прогрессу, который ученики демонстрируют за время посещения ими школы. Какже измеряется этот прогресс?

Входные данные учеников используются для прогнозирования их результатов на последующих этапах обучения. А уже на финальном этапе фиксируется разность между спрогнозированным и полученным результатами тестов. Средняя разность результатов каждой школы фиксируется как ее «эффект» и в дальнейшем используется как показатель прогресса учеников в сравнении с результатами их сверстников из другой школы (Gorard, 2012). 

Когда эффект приближен к нулю, это означает, что школа функционирует на ожидаемом уровне. Если же разность выше нуля, это трактуется как повышенная эффективность школы, и наоборот. 

При том, насколько справедливым кажется данный подход к оценке эффективности школы, масштабы информации, накапливаемой в системе школьного образования, – и, в то же время, отсутствие необходимых для полноценного статистического анализа данных раскрывают определенные погрешности.

Так, достижения учеников на входе и выходе замеряются с помощью тестов GCSE. Очевидно, что достоверность полученных показателей будет обусловлена адекватностью этого инструмента. Таким образом, мы возвращаемся к необходимости существования объективного способа оценить знания учащихся. 

Есть проблемы, которые не решает и правильное вычисление добавленной ценности. В случае с вышеупомянутыми МКШ в Казахстане, постоянно малое количество выпускников, участвующих в итоговых экзаменах, может стать причиной неоправданно высоких/низких показателей школы, что естественным образом отразится и в измерении прогресса учеников.

Играет роль и недоступность информации об академических показателях некоторых учеников на входе или на выходе. Миграция учеников затрудняет для англичан процесс прогнозирования и анализа данных – около 30% данных учеников ошибочны либо отсутствуют9.

Ко всему прочему, имеет место и «стратегическое поведение» школ10

Высокие ставки и страх наказания толкают школы к сознательному исключению некоторых учеников из финальных рейтингов – путем недопущения их к участию в итоговых экзаменах. Влияние таких «способов выживания» на развитие образования страны неоднозначно. Вероятность несоответствия таких результатов действительности означает, что ответственные органы не увидят реальной картины – а это чревато плохо информированными решениями в системе образования.

В 2006-2010 годы в Англии на смену value-added пришел contextual value-added – в измерение ценности, добавленной школой, был включен социальный контекст учеников. Этническая принадлежность, пол, получение учеником бесплатного горячего питания, образующие вкупе СЭС ребенка, стали учитываться при вычислении прогресса, достигнутого школой. 

В Казахстане учащиеся из малообеспеченных семей отстают от своих сверстников из семей с высоким СЭС примерно на три года обучения (ОЭСР, PISA 2015).

Казалось бы, это способствовало справедливой оценке эффективности школ. Однако в 2010 году англичане отказалисьот включения контекстной информации об учениках в расчеты. Мотивируя данное решение, Департамент образования заявил об «аморальности применения такого метода измерения достижений, который заранее устанавливает низкие ожидания для ребенка из-за его семьи»11 (Courtney, 2016). Иными словами, принята философия «всемогущества» школы, которая должна и может изменить судьбу ребенка, дав ему лучшее образование. 

Трудно не признать привлекательность этой теории для общества в целом и родителей в частности. Однако 

школьное образование неизбежно сталкивается с противоречиями – в том числе этическими. Бесспорно, школа должна устанавливать для каждого ребенка высокую планку и поощрять его к преодолению барьеров. Однако насколько справедливо награждать и наказывать учителей и школы при разных стартовых позициях их воспитанников?

Резонно возразить, что сравнивать прогресс ребенка из благополучной семьи (с возможностью посещать дополнительные занятия, проживающего в комфортных условиях) с результатами его сверстника из неполной семьи, обремененного домашними делами, – это практика с заведомыми погрешностями. Тем не менее, как справедливо отмечено английскими чиновниками, нельзя допускать и «заниженных ожиданий» по отношению к детям из малообеспеченных семей.

Важно найти системный баланс, при котором контролирующими органами будут эффективно оцениваться добросовестность и продуктивность усилий учителей и школы. Это нелегкая задача, требующая как минимум сильного кадрового потенциала исследователей и практиков. В то время как в Великобритании над этим ломают голову множество исследователей, в Казахстане все еще не проводились масштабные исследования качества среднего образования.

Итак, повысить эффективность школ страны возможно лишь при наличии адекватного инструмента ее оценки. Рассматриваемый далее механизм инспектирования организаций образования уникален тем, что предоставляет возможность оценить разные стороны работы школы, в дополнение к академическим показателям учеников.

АО ИАЦ , Казахстан (2015 г.): уровень функциональной грамотности учеников из семей с высоким СЭС значительно выше, чем у их сверстников из семей с низким СЭС.

Инспектирование – «паноптикум» и «шизофрения ценностей»

Инспектирование школ осуществляется в разных странах как государственными, так и независимыми органами. Английское бюро Ofsted осуществляет обязательную аттестацию всех школ с 1992 года. В Казахстане же государственную аттестацию организаций образования на предмет соответствия ГОСО осуществляет Комитет по контролю в сфере образования и науки (ККСОН) МОН РК.

Инспектирование – это возможность комплексно оценить качество школьного обучения и сопровождающих его процессов.

Как и в Великобритании, казахстанская аттестация включает в себя оценку учебной, материально-технической, методической и других сфер функционирования школы. Однако необходимо отметить более «высокие ставки» казахстанской системы контроля – на данное время школы могут получить лишь один из вердиктов комиссии – «аттестована/ не аттестована». Ofsted, тем временем, предполагает оценку школ на соответствие одной из четырех качественных характеристик – «не соответствует требованиям». «нуждается в улучшении», «хорошая» и «выдающаяся» школа.

В то время как деятельность Офстед заслуживает отдельной статьи, отметим возникшую в Великобритании риторику относительно создания этим ведомством атмосферы «паноптикума» (Perryman, 200611, 200912; Courtney, 2016). Как будет видно ниже, такое явление может иметь место и в казахстанской системе среднего образования.

Паноптикум13(panopticon) – понятие, введенное английским философом и юристом Джереми Бентамом (1748-1832) для описания дизайна «идеальной тюрьмы». Она имеет цилиндрическое строение, в котором все заключенные могут контролироваться одним надзирателем из центра, – при этом они не могут знать, когда именно находятся под наблюдением.

В 2006 г. Перримэн впервые связывает этот термин с системой образования, обращая внимание на функционирование школ под постоянным наблюдением извне. Зачастую в этих условиях уроки и школьный распорядок лишь формально отражают то, что ожидают увидеть проверяющие.

Постоянное наблюдение и контроль в системе школьного образования являются продолжающейся темой дискуссий в образовательном сообществе (Ehren и Schackleton, 201515; Winch, 200116; Rosenthal, 200317). С 2012 года британский Офстед изменил правила инспектирования английских школ. Теперь уведомление о предстоящей инспекции школы получают за полдня, в отличие от положенных ранее 1-2 дней (Courtney, 2016). Исследователями уже отмечается повышенный уровень тревоги в школах в периоды вероятного визита инспекторов (Nelson и Ehren, 201418). Частые, без предупреждения, проверки воспринимаются как угрозы и школы адаптируются к ней состоянием «постоянной готовности».

По философии паноптикума предполагается, что заключенные, зная о том, что за ними наблюдают, будут вести себя в соответствии с правилами. Категорично выражаясь, при вероятности, что «заключенные» принесут вред любыми действиями, кроме предписанных, паноптикум оправдывает свое предназначение. 

Однако кажется несправедливым включить и педагогов в эту бинарную систему поведения «хорошо/плохо».

Будучи представителями творческой и интеллектуальной профессии, учителя способны достигать ожидаемых результатов и не предписанными в инструктаже методами. В то же время, если контролирующий орган воспринимается как неизбежно несущий наказание или поощрение, стремясь удовлетворить его требованиям, школы входят в режим «демонстрации». 

Ball (2003) ввел понятие «шизофрении ценностей»19, для обозначения внутреннего конфликта, переживаемого учителями, когда стремление работать, понятия о честности и справедливости приносятся ими «в жертву»для создания нужного впечатления и демонстрации требуемых результатов. Это нередко проявляется в форме «фабрикаций» – когда педагог действует так, чтобы формально ответить требованиям системы контроля, даже если компрометируются его моральные принципы.

Школы Казахстана, воспринимая визиты государственной аттестационной комиссии как необходимость доказать (а не обратиться за помощью) свою работу, испытывают значительный стресс. А чем выше ставки, тем больше вероятность стратегического поведения школ, которое может отразиться на результатах инспектирования, попутно негативно влияя на моральный климат школ. В этой связи актуальны меры пост-аттестационного методического сопровождения школ, однако это тема для отдельной статьи.

Сомнения в достоверности информации и процессов, демонстрируемых школами в день проверки, снова указывают на возможную погрешность в отчетах по итогам аттестации. То есть, эффективность школы в чистом виде не сможет быть измерена, пока давление контролирующего органа и боязнь наказания могут влиять на поведение учителя. Изучение отечественного контекста школьного образования и применимости зарубежных практик требует сильного кадрового потенциала. В этой связи остро встает вопрос подготовки квалифицированных исследователей в сфере образования.

Выводы и рекомендации

Измерение эффективности школ необходимо для совершенствования системы образования любой страны. Однако использование результатов тестирования и инспектирование по отдельности не в состоянии достоверно оценить вклад школы в развитие ребенка. 

Возникающие вопросы (например, почему необходимость прохождения обязательного инспектирования может вызывать противоречивую реакцию со стороны школ) требуют взгляда на широкую картину. Это подразумевает и анализ условий, в которых работают казахстанские школы, и обзор международного опыта. Поэтому представляется разумной объявленная «заморозка» плановой аттестации20 организаций образования. Возникает возможность за этот период внедрить критериальное оценивание школ и их самооценку, что может существенно снизить давление «сверху», и снизить риск стратегического поведения школ.

Также необходимо рассмотреть возможность измерения прогресса ученика и вклада школы в этот прогресс. Используемый в Великобритании подход value-added на сегодняшний день, при всех статистических погрешностях, основан на принципах социальной справедливости, и потому имеет большой потенциал. Такие страны, как Великобритания, прошли тернистый путь проб и ошибок в этом вопросе, накопив ценный опыт для других стран.

Казахстанские школы нуждаются в комплексном анализе и методической поддержке. Однако ответы на вопросы, почему определенные школы опережают другие (и как они это делают), что не дает школам преодолеть барьеры в виде низкого СЭС ребенка, не будут найдены в одночасье. Важно начать процесс поиска решений и признать его насущную необходимость. Happiness is in the pursuit. 

Айгерим Копеева, сотрудник АО «Информационно-аналитический центр» г. Астаны,
выпускница школы социальных наук университета King’s College London
по программе магистратуры (2016, программа «Болашак»)

1. Koretz, D. (2002) 'Limitations in the Use of Achievement Tests as Measures of Educators' Productivity’ The Journal of human resources, 37(4).
2. Lum G. (ред) (2015) ‘Educational Assessment on Trial’
3. ИАЦ , 2016 «Национальный доклад о состоянии и развитии системы образования РК-2015».
4. Кроме Шотландии
5. General Certificate in Secondary Education
6. Leckie, G. and H.Goldstein (2008) ‘The limitations of using school league tablesto inform school choice’ Journal of the royal statistical society, 172 (4).
7. Connolly, M., James, C. (2006) ‘Collaboration for School Improvement: A Resource Dependency and Institutional Framework of Analysis’ Educational management administration and leadership, 34(69).
8. Gorard, S. (2012) ‘How unstable are ‘School Effects’ assessed by a value-added technique?’Internationale ducationstudies, 6(1).
9. Gorard, S. (2010) ‘Education can compensate for society – a bit’ British journal of educational studies, 58(1).
9. Gorard, S. (2010) ‘Education can compensate for society – a bit’ British journal of educational studies, 58(1).
10. Inge F. de Wolf &Frans J. G. Janssens (2007) ‘Effects and side effects of inspections and accountability in education: an overview of empirical studies’, Oxford Review of Education, 33:3, 379-396, 
11. Courtney, S. (2016) ‘Post-panopticism and schoolinspection in England’, British Journal of Sociology of Education, 37(4).
12. Perryman J. (2006) ‘Panoptic performativity and school inspection regimes: disciplinary mechanisms and life under special measures’, Journal of Education Policy, 21(2)..
13. Perryman J. (2009) ‘Inspection and the fabrication of professional and performative processes,’Journal of Education Policy, 24(5).
14. Рисунок взят из сети Интернет: http://foucault.info/doc/documents/disciplineandpunish/foucaultdisciplin...
15. Ehren, M. &Shackleton, N (2015)‘Mechanisms of Change in Dutch Inspected Schools: Comparing Schools in Different Inspection Treatments’, British Journal of Educational Studies
16. Winch, C. (2001) ‘Accountability and relevance in educational research’, Journal of philosophy of education, 35(3).
17. Rosenthal, L. (2003) ‘Do school inspections improve school quality? Ofsted inspections and school examination results in the UK’ Economics of education review, 23.
18. Nelson, R., EhrenM. (2014) ‘Reviewandsynthesisofevidenceonthe (mechanismsof) impactofschoolinspections’
19. Ball, S. (2003) ‘The teacher's soul and the terrors of performativity’, Journal of Education Policy, 18(2).
20. «В Казахстане аттестацию организаций среднего образования перенесли на год», доступно на http://www.express-k.kz/news/?ELEMENT_ID=82192