Екстерното оценување е научен фалсификат

Текстот е објавен на 7 ноември, 2014 година во неделникот „Фокус“, во бројот 996

Ристо Малчески е универзитетски професор, доктор на математички науки. Како најдобар студент во генерацијата дипломирал на Математичкиот факултет во Скопје, а подоцна магистрирал и докторирал. Од него можност да учат имале неколку генерации на Природно-математичкиот факултет во Скопје, а веќе со години им предава и на студентите на приватниот универзитет ФОН, по предметите математика за бизнис и статистика за бизнис. Со неговото име се потпишани триесетина универзитетски учебници и учебници за средно и основно образование, како и десетици научни трудови и статии. Во момент кога многумина негови колеги тивко го критикуваат екстерното оценување во основното и во средното образование, тој аргументирано и во детали го разобличува циркусот, кој, според него, е само дел од рашомонијадата на македонскиот образовен систем

ФОКУС Во изминативе два месеца образовната јавност е прилично вознемирена со екстерното оценување. Кои се причините за тоа?
МАЛЧЕСКИ Причини за вознемиреност има бидејќи генерално екстерното оценување е наполно промашено. Основната причина за ваквата оцена е во фактот дека во текот на учебната година учениците се оце­нуваат во постапка во која однапред не ги знаат прашањата, а додека на екстер­ното тестирање се оценуваат на видени прашања од кои, според Државниот испитен центар, случајно се избираат 30 прашања. Затоа резултатите на учениците добиени во двата про­цеса на проверка на знаењето се неспоредливи, како што се неспо­ред­ли­ви и по­стигнатите времиња на еден атлетичар од две трки на 1.000 метри, од кои едната е на атлетска патека, а другата на планинска крос-патека.

ФОКУС Значи ли тоа дека учениците во двете постапки не се оценуваат според исти критериуми?
МАЛЧЕСКИ Да! Меѓутоа, самиот процес на екстерно оценување има многу сла­бости. Имено, тој се одвива паралелно во две линии, кои се неспоредливи и кои генерираат нееднаквост на наставниците. Така, наставник кој предава од прво до трето одделение го оценува тричлена училишна комисија составена од наставници од исто или од сродно наставно подрачје и притоа оценувањето се врши врз основа на збирка докази кои наставникот ги обезбедува во текот на учебната година. Слична е состојбата и со наставните предмети музичко образование, ликовно образование и физичко и здравствено образование од четврто до деветто одделение, како и техничко образование во четврто, петто и во шесто одделение. И во овој случај има каков-таков правилник со определени критериуми, за чиј квалитет подобро и да не говориме. Ова значи дека оценувањето на работата на овие наставници се сведува на проверка дали во текот на годината континуирано го следеле напредувањето на учениците, но во случајот никако не може да се каже дека се проверува и дали дадените оценки се навистина реални. Од друга страна, за сите останати наставни дисциплини се спроведува екстерно тестирање, за кое патем кажано иако, на пример, согласно член 54 став 5 од Законот за основно образование е предвидено да се донесе соодветен правилник, според мое сознание таков правилник воопшто не е донесен. Сето ова генерира бројни слабости и остава простор за многу произволности при спроведувањето на екстерното тестирање, кое не е валидно бидејќи државата не ги усвоила документите за чие донесување самата се обврзала.

НЕПРИМЕНЛИВИ КРИТЕРИУМИ

ФОКУС Кои кри­териуми тогаш се применети за добивање оценки по предметите за кои имаше екстерно тестирање?
МАЛЧЕСКИ Тука имаме интересна ситуација. Според критериумите за оценување изработени од Бирото за развој на образованието (БРО) и кои се наоѓаат на официјалната веб-страница на бирото, оценувањето треба да се реализира согласно Блумовата таксономија и тоа според мене не е спорно. Меѓутоа, овие критериуми се применливи во процесот што го реализира наставникот во текот на учебната година, но тие се наполно непри­менливи при вака замислено и реализирано екстерно тестирање. Имено, според крите­риумите имаме четири елементи кои наставникот при определувањето оценка за успехот на учениците треба да ги има предвид: запомнување и репродуцирање на наставните содржини; разбирање/сфаќање на обработените содр­жини, односно способност на ученикот нив да ги интерпретира со свои зборови; при­мена на научените содржини во конкретни задачи со познати и нови елементи и во дру­ги нови ситуации; како и повисоките интелектуални способности на анализа, син­теза и вреднување што подразбираат способност на ученикот за средување, ком­би­ни­рање елементи во нови целини и способност за вреднување на оправданоста или научноста на некое тврдење или дело. Понатаму, откако наставникот ќе ги согледа постигањата на ученикот на секое од наведените нивоа според стандардите за на­став­ниот предмет – за секоја тема или подрачје, ја утврдува оценката на ученикот согласно критериумите дадени од бирото.

ФОКУС Зошто овие критериуми се неприменливи за екстерното тестирање?
МАЛЧЕСКИ Затоа што природата на повеќето наставни предмети, како што се: етика, граѓанско образование, природни науки, биологија, историја, географија, мајчин јазик, странски јазик и слично, не дозволува при одговарање на прашања со понудени одговори да се добие сознание за тоа колку учениците може да ги применат знаењата, а уште помалку да се оценат нивните способности за анализа, синтеза и вреднување. Прашањата со понудени одго­во­ри може да послужат само за проверка на постигањата во деловите на запомнување, репродуцирање и разбирање, па оттука примената на скалата за оценување дадена од Бирото за развој на образованието и според која на екстерното се вреднувани резултатите е недопустлива, бидејќи како што претходно видовме таа може да се применува само во случај кога имаме прашања со кои може да се оценуваат сите четири нивоа на знаење.

ФОКУС Сето ова што го говорите се чини дека немаше некакво влијание на јавното мислење, туку проблемот ескалираше по објавувањето на резултатите. Што е причината за тоа?
МАЛЧЕСКИ Причини има многу, но да почнеме со ред. Според член 97, став 1 од Законот за основно образование, врз основа на резултатите од екстерното проверување на успехот на учениците се оценува објективноста и професионалноста на наставникот во вреднувањето на успехот на ученикот. Последното, само по себе значи, дека се вред­нува објективноста и професионалноста на севкупниот процес на оценување, односно за сите ученици на кои им предава соодветниот наставник. Но, што се случи? Дали од незнаење или од некои други причини, резултатите од тестирањето се споредуваат само со резултатите од оценките што ги имале учениците кои се тестирани и врз основа на тоа се донесува суд за севкупното оценување реализирано од наставникот, по што се изрекуваат драконски казни или се делат минорни награди. Ваквата постапка не е во ред, бидејќи ако се сака објективна слика, тогаш резултатите добиени од приме­рокот на ученици кои екстерно се тестираат треба да се споредат со резултатите од севкупното оценување. Науката за ова пропишала постапка, која во голема мера гарантира објективност на овој дел од процесот и овозможува тој да се оценува според однапред зададен критериум. Меѓутоа, во случајов имаме законско решение кое е трагикомично и според кое на 20 отсто од наставниците кои имале најмали отстапувања платата им се зголемува 15 отсто во текот на една година, а на ист толкав процент со најголеми отстапувања платата им се намалува за 15 проценти во текот на една година.

НЕПОЧИТУВАЊЕ НА СТАНДАРДИТЕ

ФОКУС Што е трагикомично во законското решение?
МАЛЧЕСКИ Согласно критериумите за оценување на успехот на учениците, дадени од бирото, наставникот при формирањето на оценката може да ја зголеми или да ја намали и најмногу до 0,75 од еден степен на скалата за оценување, во зависност од наведените елементи што се однесуваат на мотивацијата, редовноста и активноста на ученикот. Оттука, нејасно е врз која основа ќе бидат избрани казнетите и наградените наставници, ако кај сите наставници просечните оценки од екстерното оценување отстапуваат од реалните оценки токму за дозволеното отстапување. Како ќе казните некој што работел токму според стандардите што ги пропишала државата? Оттука и мојата констатација за трагикомичноста на законското решение, за кое слободно можам да кажам дека е дегутантно, освен ако нема за цел создавање апарат со кој наставниот кадар ќе биде под постојана закана од некакви казни, за кои слободно можам да кажам дека се драконски. Имено, дека станува збор за драконски казни доволно е да ги погледнете законите што ја регулираат образовната сфера, а и не ни мора. Замислете, само по еден основ, а тоа е екстерното тестирање, вие во текот на една година имате можност некому да му одземете 1,5 месечни плати, без разлика дали неговите ученици освојуваат награди на натпреварите акредитирани од страна на државата или има публикувано научни и стручни трудови.

ФОКУС На социјалните мрежи имаше забелешки токму за примерокот од ученици кои се тестираат по определен предмет. Во што е проблемот тука?
МАЛЧЕСКИ Со оглед на тоа дека во случајов станува збор за класична статистичка операција со која се сака да се провери квалитетот на оценувањето, за да биде валидна, прв услов е примерокот на учениците кои се тестираат по даден предмет да биде репрезентативен, што значи дека мора да биде соодветен на популацијата, а тоа се учениците на кои наставникот им предава. Колку што мене ми е познато, ваков примерок може да се обезбеди ако се земе прост случаен примерок, систематски примерок или стратификуван случаен примерок, за кои постојат точно утврдени правила како се избираат. Понатаму, во секое статистичко истражување важна улога има и големината на примерокот, од која во основа зависи и точноста на добиените резултати. Природата на екстерното тестирање, односно фактот дека секој ученик се тестира точно по два предмета е ограничувачки фактор при утврдување на големината на примерокот. Меѓутоа, овој ограничувачки фактор не смее да биде оправдување за незнаењето. Се надевам дека немало други намери на организаторите и спроведувачите на екстерното тестирање.

ФОКУС Какви неправилности се забележани при утврдување на примерокот?
МАЛЧЕСКИ На пример, минатата учебна година во седмо одделение екстерното тестирање се спроведуваше по 10 предмети, па оттука е нејасно како во едно училиште кое во генерацијата има 123 ученици по предметите македонски јазик, математика, историја, биологија и географија може да се добие реална слика за квалитетот на оценувањето ако се тестирани 38, 9, 27, 34 и 33 ученици, соодветно. Вакво отстапување во големината на примерокот е недопустливо, бидејќи генерира нееднаквост на учениците и наставниците според овој критериум и укажува на можност за манипулации со тестирањето, при што за да се отфрли можноста за какви било манипулативни активности по секој наставен предмет требало да бидат тестирани по 24 или 25 ученици. Во овој и во други случаи, станува збор за целосно нарушување на методологијата за спроведу­вање на ваков вид истражување и со самото тоа може да се каже дека од научна гледна точка резултатите од екстерното тестирање не се валидни, што е доволна причина тоа да биде поништено и креаторите и реализаторите на овој, би рекол, образовен циркус да сносат одговорност.

ЗЛОУПОТРЕБА НА СТАТИСТИКАТА

ФОКУС Спомнавте дека се надевате оти при спроведувањето на екстерното тестирање нема и други намери. Во какви намери се сомневате?
МАЛЧЕСКИ Освен потребата од соодветна големина на примерокот, која во училиштето за кое зборувам е нарушена со бројот на тестираните ученици по одделните предмети, уште поиндикативна е структурата на примерокот по одделните предмети. На пример, по предметот македонски јазик од 186 ученици 113 имале петка, 18 четворка, 32 двојка, и еден ученик имал единица. Но, од 47 избрани ученици за екстерно тестирање 35 се со петки, 6 со четворки, 6 со тројки и ниту еден ученик со двојка. Човек не треба да биде многу паметен за да заклучи дека ваков избор, доколку е направен по соодветна постапка, не е можен. Невозможно е од 32 ученици со двојки по случаен избор да не се избере ниту еден ученик за екстерно тестирање! Дека станува збор за тотална некомпетентност или дека е во прашање нешто друго, покажува и фактот дека во овој случај околу 70 отсто од учениците имале четворки или петки, а додека за тестирање се избрани над 87 отсто ученици со четворки или со петки. Слична е состојбата и со предметот хемија, но во обратна насока. Сериозни отстапувања кои според статистичките критериуми се недопустливи има и по предметот математика, што значи дека и добиените резултати не може да се сметаат за валидни. Во прилог на тоа оди и податокот дека во осмо одделение по предметот историја, дури во четири паралелки не е тестиран ниту еден ученик, а додека во истите тие четири паралелки по предметот биологија е тестиран само еден ученик! Замислете, за квалитетот на оценувањето на 130 ученици по предметот историја немате ниту еден податок, по предметот биологија имате само еден податок, а вие наградувате или казнувате наставник, што е далеку до здравиот разум!

ФОКУС Дали станува збор за незнаење или за намера?
МАЛЧЕСКИ Па, не може со само 9 тестирани ученици по математика да се добие валидна оценка за квалитетот на оценувањето на дури 123 ученици! Дополнителен проблем е и тоа што 5 од овие ученици се од една паралелка, а останатите 4 се распоредени дури во 4 паралелки, што е класичен пример или на елементарно незнаење или на злоупотреба на статистиката.

ЗАЕДНИЧКА ТАБЕЛА ЗА ФУДБАЛ И ЗА РАКОМЕТ?!

ФОКУС Краен резултат од екстерното тестирање е т.н. збирен извештај во кој се дадени податоци за наставниците со најголемо и со најмало отстапување. Ова предизвика многу коментари на социјалните мрежи. Кои се причините?
МАЛЧЕСКИ Може да се помисли дека овој извештај е само последица на претходно спроведената постапка. Меѓутоа, доколку се погледне правилникот за подготвување на овој извештај, се забележува дека и самата методологија за пресметување на резултатите е погрешна. Прво, рангирањето на наставниците кои се навистина екстерно тестирани и на наставниците што предаваат од прво до трето одделение или наставни предмети со кои учениците се стекнуваат со вештини, се врши според две суштински различни методологии, т.е. според различни правила на игра, а со иста цел наградување и казнување на наставниците. Последното, не само што предизвикува нерамноправност на наставниците, особено тие што предаваат од четврто до деветто одделение, туку е крајно непринципиелно. Имено, ова може да се спореди со формирање заедничка табела за шампионска титула и испаѓање од лига од првенствата, на пример, во фудбал и во ракомет и притоа како оправдување да се земе дека станува збор за екипни спортови кои се играат со топка, па затоа може да има заедничка табела.

ФОКУС Како се пресметуваат отстапувањата?
МАЛЧЕСКИ Формулата според која се пресметуваат отстапувањата е голем проблем. Во науката, статистиката и методологијата, еден од најпознатите примери на таканаречената ординарна или ранг-скала е скалата според која се бележи успехот на учениците (недоволен 1, доволен 2, добар 3, многу добар 4 и одличен 5). Оваа скала е средство за класифицирање и подреду­вање на елементите според интензитетот на мереното својство, т.е. можеме да тврдиме дека нешто е еднакво, помало или поголемо од друго, но тоа не значи дека знаеме за колку е поголемо или помало. По­на­таму, на ова ниво на мерење бројот го означува рангот, при што раз­ликите меѓу одделните единици на скалата не се еднакви. Имено, никој не може да тврди дека разликата во знаењето меѓу учениците што имаат единица и двојка е еднаква на разликата во знаењето меѓу учениците што имаат четворка и петка, па дури според критериумите за оценување дадени од БРО и меѓу знаењата што се вреднуваат со оценка 2, 3 , 4 и 5 има разлики, кои изразени во проценти се 13 отсто, 24 отсто, 13 отсто и 25 отсто соодветно. Затоа, со податоците мерени со ординарната скала е дозволено да се пресметува мода, медијана, релативни честоти, коефициент на рангова корелација, да се користи таканаречениот хи-квадрат тест и ништо друго. Последното значи дека во никој случај не се дозволени операции собирање, одземање, апсолутна вредност или наоѓање аритметичка средина и дисперзија, а токму тоа се прави при пресметување на таканаречените отстапувања.

ЕКОНОМСКИ ТЕРОР

ФОКУС Зошто е тогаш примената на оваа формула?
МАЛЧЕСКИ Не можам да се начудам како е дојдено до оваа формула, т.е. дали е препишана од некаде или, пак, е нечија креација. Меѓутоа, одговорно тврдам дека сето ова е научно погрешно, што укажува на нестручност и некомпетентност на креаторите и на реализаторите на екстерното тестирање. Во прилог на последното е и фактот дека, за да се избегнат грешките од ваков вид, во повеќето земји, постигнувањата на учениците се бележат со бројчани симболи A, B, C, D, E и F, на кои им се придружени процентуални показатели добиени според таканаречената пропорционална скала и која овозможува диференцијација и рангирање и каде што се дозволени операциите собирање, одземање, апсолутна вредност и делење. Меѓутоа, за да се користи пропорционалната скала, т.е. за да се спроведе реално и квалитетно екстерно тестирање потребна е сериозна реформа на оценувањето, што значи дека оценките добиени во текот на учебната година и оценките добиени на екстерното тестирање мора да се споредливи, а тоа е можно само доколку оценувањето е со пропорционална скала и доколку мерните инструменти – тестовите се подготвени според иста методологија, услови кои во моментот ни оддалеку не се исполнети.

ФОКУС Резултатите од вака спроведеното екстерно тестирање веќе ги погодија некои наставници. Имаше многу неоправдано казнети и наградени наставници!
МАЛЧЕСКИ Има два момента во врска со наградите и со казните за наставниците – нивното неаргументирано девалвирање со вака спроведеното екстерно тестирање и економското уништување, бидејќи ќе се согласите дека од мизерната годишна нето-плата од 4.200 евра некому неаргументирано да му земете 630 евра е економски терор. Меѓутоа, уште поголеми се последиците врз целиот образовен систем, а посебно врз учениците. Екстерното тестирање треба да е корективен елемент на присутната „петкоманија“, што не е случај, бидејќи еден функционер се пофали на успешноста на екстерното тестирање со фактот дека во едно средно училиште е постигната просечна оценка над 4,5! Според мене, ова не е за пофалба, туку е срамно, бидејќи со сигурност можам да тврдам дека во тоа училиште не учат само надарени ученици. Зошто само надарени? Едноставно, само на човек што ја разбира Блумовата таксономија му е јасно дека единствено овие ученици имаат способности да го постигнат третото и четвртото ниво на знаење и способности во рамките на бараните проценти за петка.

ШОК ОД ЕКСТЕРНИТЕ „ПЕТКИ“

ФОКУС Какви се последиците од екстерното оценување врз учениците?
МАЛЧЕСКИ Последиците врз учениците се двојни. Можете да замислите како се чувствува ученик кој во текот на целата година работел и со својот труд ги заслужил одличните оценки кои се верификувани на екстерното тестирање, кога ќе дознае дека негов соученик кој одел на продолжителна настава и имал просечна оценка од 2-3 на екстерното тестирање по двата предмета добил четворки или петки. Каква порака со ова им се праќа на овие ученици? Целта ги оправдува средствата или петка си е петка, па макар и добиена со незнаење! Другата крајност се токму учениците кои на екстерното тестирање добиле драстично повисоки незаслужени оценки, при што мене ми се познати случаи дека некои од тие ученици вложуваат сериозен напор да прочитаат и да напишат простопроширена реченица. Имено, кај овие ученици и кај нивните родители се создава лажна слика дека нивното дете не е добро оценувано и дека за неговиот неуспех се виновни токму наставниците. Можете да замислите каков ќе биде шокот, кога во еден момент од животот овие деца ќе сфатат дека некој ги злоупотребил и дека без разлика на дипломата со која се стекнале се на ниво доволно писмени за да ги разбираат наредбите.

ФОКУС Каква ќе биде иднината на екстерното тестирање, може ли нешто да се промени?
МАЛЧЕСКИ Искрено кажано, не очекувам ништо. Мислам дека одговорните за екстерното тестирање и нивните претпоставени се задоволни со тоа што го прават, а го прават погрешно, без разлика на последиците, а за остварување на своите цели, ќе продолжат со спроведување на циркусот наречен екстерно тестирање, кој е само еден мал сегмент во севкупната рашомонијада, во која по нечија вина се наоѓа македонскиот образовен систем. Меѓутоа, кога нешто знаете дека е погрешно и општествено погубно имате два избора, или тоа ќе го премолчите и ќе станете тивок соучесник или ќе го кажете своето мислење, без разлика што сте свесни дека тоа ќе биде или игнорирано или можеби задушено со некоја кампања за здрава храна, кампања за мирен сон и слично.

ПОТЦЕНЕТИ КРИТЕРИУМИТЕ НА БИРОТО ЗА РАЗВОЈ

ФОКУС Имаше коментари дека при екстерното тестирање се даваат исти оценки за различен број бодови добиени на тестовите во текот на годината кои се оценувани според критериумите на Бирото за развој на образованието.
МАЛЧЕСКИ Некој треба да ѝ објасни на јавноста како наставникот е обврзан според критериумите дадени од Бирото, оценките да ги нормира на еден начин – применети правила за заокружување на децимали, а на екстерното по­стојат примери дека тоа се прави на сосема поинаков начин, што може да се види од следнава табела:

РАЗЛИЧНА ТЕЖИНА – ИСТ БРОЈ БОДОВИ!

ФОКУС Имаше забелешки дека и покрај тоа што прашањата на екстерните тестови се со различна тежина, носат ист број бодови!
МАЛЧЕСКИ Така е. Ако прашањата се со различна тежина, тогаш треба да бидат и различно вреднувани, а не секое прашање да носи по еден бод. Конечно, скалата што се применува и според која оценка 2 (двојка) се добива за постигања од 26-39 отсто од целата наставна програма, тројка за 39-63 отсто, четворка за 63-76 отсто и петка за постигања над 76 отсто од целата наставна програма е валидна само во случај кога тестот е соодветно структуриран, што како што кажав не е случај. Овде дополнителен проблем е и тоа што од панелот од однапред познатите прашања случајно се избираат 30 прашања, па доколку и постојат полесни и потешки прашања, со сигурност може да се каже дека при ваков избор на прашањата не може да се постигне соодветна застапеност на тежинските нивоа според кои мора да се оценува запомнувањето и репродуцирањето на наставните содржини; разбирањето на обработените содр­жини; примената на научените содржини во конкретни задачи со познати и нови елементи и во дру­ги нови ситуации; како и повисоките интелектуални способности на анализа, синтеза и вреднување.