5.1 Моніторинг і оцінка: базові поняття
Зміст
Поняття моніторингу і оцінки (МіО)
Відмінність моніторингу від оцінки
Будь-яка цілеспрямована діяльність включає:
- постановку цілей;
- планування заходів, спрямованих на досягнення поставленої мети;
- моніторинг (відстеження) здійснення планових заходів і оцінку результатів (проміжних і кінцевих) виконаних робіт.
У найбільш узагальненому вигляді моніторинг і оцінку визначають як зворотний зв'язок, що дає змогу з'ясувати:
- чи відповідає плану фактична «траєкторія» руху до мети;
- чи досягнуті бажані проміжні й кінцеві результати.
Моніторинг і оцінку часто використовують у вигляді скорочення — МіО. Моніторинг і оцінка (МіО) освітніх програм, спрямованих на зміцнення здоров'я і розвиток особистості, дає змогу зрозуміти, чи дають ці програми бажаний результат, та визначити напрямки їх удосконалення.
Моніторинг — це постійний збір і реєстрація інформації за наперед визначеним переліком показників (індикаторів).
Оцінка – це епізодичний аналіз досягнень, пов'язаних із реалізованою програмою або проектом.
Моніторинг відрізняється від оцінки. Моніторинг – це систематичне відстеження якісних і кількісних показників, які характеризують якусь діяльність та/або поточну ситуацію. Головна мета моніторингу — «знімати показники» стану об'єкта спостереження і виявляти розбіжності з плановими (або виявляти тенденції розвитку й передбачати майбутні стани). Виявлення таких розбіжностей важливе для своєчасного подолання або зменшення виявлених небажаних тенденцій у розвитку процесів.
Оцінка має на меті з'ясувати, чи забезпечують реалізовані заходи той вплив, на які вони розраховані.
Інакше кажучи, моніторинг включає спостереження за тим, що робиться, тоді як оцінка дозволяє встановити причиново-наслідкові зв'язки між діями та результатами.
Моніторинг і оцінка превентивних програм, спрямованих на зміцнення здоров'я і розвиток особистості, проводять для вдосконалення програм і з'ясування того, чи дає впровадження цих програм очікуваний результат.
Моніторинг (відстеження) від самого початку впровадження програми гарантує, що кроки і завдання цієї програми чітко сформульовані та відповідають цілям і піддаються вимірюванню.
|
Моніторинг превентивних програм призначений для того, щоб:
Оцінка превентивних програм призначена для того, щоб:
|
Для ефективного моніторингу і оцінки превентивних програм у світі широко використовують концептуальну рамку МіО, яка дозволяє пов'язати програмні дії з очікуваними результатами на різних логічних рівнях: детермінантах поведінки, поведінкових практиках і епідеміологічних показниках.
Система моніторингу успішних превентивних програм обов'язково містить такі елементи:
- програмні показники;
- детермінанти поведінки (чинники ризику та чинники захисту);
- показники поведінкових практик;
- показники, які підтверджують довгостроковий вплив.
Для превентивних програм виокремлюють програмний, поведінковий та епідеміологічний види МіО.
Програмний вид МіО.
Включає в себе відстеження показників внеску та процесу.
Показники внеску. Для того щоб проект або програма досягли своїх цілей, у процес виконання програми включають різні ресурси (внески) — матеріально-технічні, людські, фінансові, політику і нормативно-правову базу, а також сучасні технології, наприклад, інформаційно-комунікаційні.
Показники процесу — це, наприклад, кількість навченого персоналу, кількість наданих діагностичних, консультативних, інформаційних послуг тощо (кількісні показники), а також якість цих послуг (якісні показники).
Поведінковий вид МіО.
Включає збір даних і оцінку результатів на рівні детермінант поведінки і поведінкових практик.
У разі ефективного використання вкладених ресурсів та належного впровадження програми досягаються короткострокові результати на рівні детермінант поведінки цільової групи (знання, ставлення, вміння, що сприяють зменшенню чинників ризику та посиленню чинників захисту).
Якщо програма має позитивний вплив на детермінанти поведінки (знання, ставлення, уміння), така програма, ймовірно, матиме і довгострокові результати на рівні поведінкових практик.
Епідеміологічний вид МіО.
Позитивні результати програми на рівні поведінкових практик повинні привести до довгострокового впливу на групи населення. Довгострокова дія виражається в епідеміологічних показниках, наприклад, зниження кількості нових випадків ВІЛ-інфекції, зменшення поширеності ВІЛ / СНІДу, зниження захворюваності ІПСШ, наркозалежності, зменшення для суспільства соціально-економічної шкоди від епідемії.
Традиційні системи МіО не забезпечують чіткого відстеження поведінкових практик та епідеміологічних показників. Тому впродовж останніх років інтенсивно розвивається епідеміологічний нагляд другого покоління. Він спрямований на об'єднання моніторингу поведінкових і біологічних даних. Узгодженість різноманітних біологічних, поведінкових і якісних досліджень, спрямованих на розуміння суті явищ, не тільки підтверджує ймовірні напрямки розвитку епідемій, а й дає їм глибинні пояснення.
Список використаних джерел:
- Загальні принципи і основні поняття моніторингу та оцінки в області ВІЛ / СНІД (дві частини).
- «Моніторинг та оцінка молодіжних програм з профілактики зловживання психоактивними речовинами», © Організація Об'єднаних Націй, 2005 рік
5.2 Умови успішного впровадження превентивних програм
Зміст
Особливості превентивних програм, що грунтуються на розвитку життєвих навичок
Критичні чинники впровадження ООЖН програм
Критерії відповідності умов навчання принципам ООЖН
Ключові знання і вміння педагога-тренера
Успішні профілактичні програми на основі навчання життєвих навичок (ООЖН програми) передбачають:
- Вплив на поведінку як одну із ключових цілей.
- Баланс знань, психологічних установок (ставлень) та вмінь (навичок).
- Орієнтування на інтерактивні методи навчання.
- Урахування реальних потреб учнів.
- Урахування гендерної чутливості у змісті і методах навчання.
Розглянемо ці чинники докладніше.
|
Вплив на поведінку. Навчальна програма повинна передбачати вплив на самосвідомість учнів для формування у них знань, психологічних установок та вмінь і навичок, сприятливих для здоров'я, безпеки та розвитку. Педагогічні впливи мають бути спрямовані на всі рівні особистості:
|
|
Орієнтування на інтерактивні методи. Програма має передбачати:
|
|
Урахування реальних потреб учнів. Навчання здорової, позитивної поведінки має здійснюватися на інтегрованому змісті, яке безпосередньо пов'язане з:
|
|
Урахування гендерної чутливості у змісті і методах навчання. Зміст навчальної програми має передбачати:
|
Для успішного впровадження ООЖН програм наведені чинники є критичними:
|
Досвід упровадження ООЖН програм у багатьох країнах підтвердив, що тільки одночасне досягнення всіх зазначених вище цілей забезпечує належну дієвість превентивної освіти (масовість, ефективність, превентивність). І навпаки, ігнорування хоча б одного з цих чинників істотно знижує ефективність профілактичної роботи.
Моніторинг і оцінка процесу впровадження превентивних програм повинні передбачати перевірку відповідності процесу навчання принципам ООЖН, використовуючи такі ознаки і критерії:
|
Ознака |
Основний критерій | Додаткові критерії |
| 1. Підготовлений учитель |
Наявність у вчителя сертифіката про проходження навчання за методикою ООЖН |
|
| 2. Спрямованість на набуття учнями базових життєвих навичок |
Наявність у шкільному розкладі обов'язкового або факультативного курсу, що має на меті вплив на поведінку як одну із ключових цілей |
|
| 3. Інтерактивна форма навчання | Наявність приміщень для інтерактивних занять |
|
| 4. Відповідність навчально-методичного забезпечення вимогам ООЖН | Наявність грифа Міністерства освіти і науки |
|
Викладання предметів, курсів і програм превентивного спрямування потребує теоретичних знань і практичних навичок, більшість з яких педагоги не отримували під час навчання у вищому навчальному закладі. Нижче представлений мінімальний набір вимог до педагога-тренера.
|
Педагогові-тренеру необхідно знати:
Тренерові корисно знати:
Тренерові потрібно вміти:
Тренерові потрібно виявляти:
|
Список використаних джерел:
- Evidence and rights based PLANNING & SUPPORT TOOL for SRHR/HIV Prevention Interventions for Young People
- IM TOOLKIT FOR PLANNING SEXUALITY EDUCATION PROGRAMS USING INTERVENTION MAPPING IN PLANNING SCHOOL-BASED SEXUAL AND REPRODUCTIVE HEALTH AND RIGHTS (SRHR) EDUCATION PROGRAMS. WORLD POPULATION FOUNDATION .MAASTRICHT UNIVERSITY .THE NETHERLANDS. July 2008
- Всемирная Организация Здравоохранения. Навыки, Необходимые для Здоровья
- Evidence and rights based PLANNING & SUPPORT TOOL for SRHR/HIV Prevention Interventions for Young People
5.3 Оцінювання прогресу навчальних досягнень учнів
Зміст
Принципи і критерії оцінювання рівня та прогресу навчальних досягнень учнів
Оцінювання ефективності впливу програм за процедурою «ДО» і «ПІСЛЯ»
Умови застосування інструментів оцінювання
Релевантність інструментів оцінювання
Базові принципи оцінювання.
Оцінка навчальних досягнень учнів, які навчаються за превентивними програмами, є однією з найважливіших і водночас найскладніших проблем. З одного боку, завжди треба пам'ятати, що справжню оцінку з цього предмета дитині поставить життя, з другого— оцінка була і є одним з дієвих інструментів у руках учителя.
Чимало проблем, традиційно пов'язаних з оцінкою у навчанні здорового способу життя, виникло через незрозумілі цілі і неправильно визначені вимоги до результатів навчання, застосування невідповідних інструментів та ігнорування інших, крім учителя, суб'єктів оцінювання. Внаслідок цього учні сприймають таке навчання як «нудьгу і примус».
Викладаючи превентивні програми, курси, шкільні предмети, оцінювати потрібно не лише теоретичні знання учнів, а й їхню поведінкову (соціально-психологічну) компетентність, яка передбачає баланс знань, умінь, ставлень (психологічних установок) та поведінки (або намірів). При цьому оцінювання має грунтуватися на таких принципах:
|
|
Критерії адекватного оцінювання.
Щоб бути адекватним і мотивуючим, оцінка знань учнів має відповідати таким критеріям:
- мати у своїй основі чіткі і зрозумілі вимоги до навчальних результатів;
- дозволяти легко досягти і перевищити ці результати;
- давати змогу показати свої досягнення різними способами;
- заохочувати учнів апробувати моделі поведінки без ризику отримати за це негативну оцінку;
- розвивати позитивне ставлення до самого себе, впевненість у своїх здібностях і можливостях;
- використовувати самооцінку і взаємну оцінку як важливий елемент навчання;
- надавати зворотний зв'язок учням і вчителеві.
Учителі, батьки і керівники системи освіти зацікавлені отримати аргументовану відповідь на запитання: «Які реальні зміни в поведінці учнів зумовив цей предмет, курс чи програма?» Для цього потрібні об'єктивні дані, які б підтвердили або не підтвердили наявність реальних змін у детермінантах поведінки.
Такі дані можна отримати на базі тестування «ДО» і «ПІСЛЯ». Суть цієї процедури в тому, що перед початком навчального курсу і після його завершення проводиться анонімне опитування за спеціально розробленим тестом. Наприклад, він може складатися з чотирьох частин, які дають змогу оцінити складники поведінкової компетентності учнів:
- Частина 1. Базові знання.
- Частина 2. Психологічні установки (виявляються у ставленнях і позиціях).
- Частина 3. Наміри (показник, близький до поведінки).
- Частина 4. Опорні вміння.
Порівнюючи результати вхідного та вихідного опитування, визначають величину змін. Що більша відмінність між оцінюванням «ДО» і «ПІСЛЯ», то істотніші позитивні зміни у складників поведінки, що зумовлені запровадженням програми, курсу чи предмета.
Для виключення впливу інших чинників і визначення, що саме допомогло учням – цей курс чи, наприклад, інформаційна кампанія у ЗМІ,— отримані дані порівнюють із результатами контрольної групи, яка не навчалася за цим курсом. При цьому контрольна група має бути подібною за кількістю, складом та умовами навчання до тієї групи, що проходила навчання.
З прикладами використання процедури «ДО» і «ПІСЛЯ» можна ознайомитися за посиланням http://autta.org.ua/ua/Advocacy/.
Існує величезна кількість інструментів, які можна використовувати для оцінки компетентності учнів на рівні детермінант поведінки (знань, ставлень, умінь і поведінки). Застосовуючи ці інструменти для оцінки рівня і змін у детермінантах поведінки, потрібно враховувати таке:
- Використання тільки одного з інструментів не дає змоги зробити висновку про вплив навчання на всі складники поведінкової компетентності учнів. Тому варто застосовувати не менше чотирьох інструментів, кожен з яких є найбільш адекватним для оцінки відповідного об'єкта знань, ставлень, умінь, намірів і поведінки.
- Одні види інструментів краще підходять для оцінки знань, другі — для оцінки ставлень, треті —вмінь або поведінки Треба також враховувати, що учні природно використовують властиві їм домінантні стилі сприймання і навчання: візуальний, слуховий і тактильний. Варто пам’ятати, що в учнів різною мірою розвинені базові компетентності: лінгвістична, логічна, музична, візуально-просторова, кінестетична, персональна, міжособистісна. Тому відібрані вчителем інструменти мають бути релевантними об'єктам оцінки й індивідуальним особливостям учнів.
- Щоб зробити суб’єктивні висновки, дуже важливо отримувати інформацію від різних груп (суб'єктів оцінювання): вчителів, самих учнів, їхніх ровесників та інших осіб. Кожна така група може мати дещо різні погляди на те, що є ефективними поведінковими навичками, що впливає на зміну поведінки або як саме інтерпретувати різні уявлення. Облік інформації з різних джерел є класичною вимогою сучасного оцінювання (так званий тріангуляційний метод підвищення надійності). Крім того, самооцінка розвиває в учнів здатність до самоаналізу, цілепокладання та аналізу власних досягнень. Спочатку учень визначає, чого він хотів би досягти, проміжні результати (етапи досягнення), а в кінці — оцінює, як йому вдалося це здійснити.Якщо оцінюють однолітки, то акцент робиться на спостереженні й отриманні зворотного зв'язку. Сучасна концепція оцінювання передбачає, що тільки 20 % оцінки здійснює вчитель, 50% — сам учень, а 30 % відбувається через взаємооцінювання однолітками.
Існують різні види інструментів оцінювання впливу навчання на знання, уміння, ставлення і поведінку учнів.
1. Закриті запитання — тести, розроблені вчителем, або стандартизовані переліки запитань на кшталт:
- «так / ні / не знаю»;
- «згоден / частково / не згоден»;
- доповнення пропозицій;
- установлення відповідностей;
- вибір правильних або неправильних відповідей тощо.
Закриті запитання ефективні в оцінюванні рівня знань, оскільки вчителеві легко сформувати кількісні показники, за якими можна порівнювати навчальні результати учнів. Однак цей вид запитань не дозволяє оцінити вміння застосовувати знання.
Цей метод також застосовують для оцінки вмінь, ставлень і намірів. Але якщо у процесі тестування не забезпечується анонімність, треба бути дуже обережним в інтерпретації отриманих результатів, особливо щодо ставлень та намірів. Річ у тому, що учні намагаються відповідати так, як від них очікують, а не так, як вони думають і роблять насправді. Тому рекомендується анонімне тестування з подальшим опрацюванням результатів в узагальненому вигляді для цілого класу.
2. Відкриті запитання дають змогу з'ясувати вміння учня не тільки згадувати, а й застосовувати знання і обгрунтовувати свою відповідь. Крім того, відкриті запитання застосовують для з'ясування вмінь і ставлень учнів до певної проблеми, об'єкта чи явища.
3. Шкали — найкорисніший інструмент для оцінки ставлень. Для цього учням пропонується вказати ступінь своєї згоди або незгоди з конкретним твердженням. Наприклад, учням пропонується твердження: «Вживати пиво в підлітковому віці небезпечно для здоров'я». Своє ставлення пропонується висловити, вибравши один із варіантів відповідей: «абсолютно не згоден», «не згоден», «не впевнений», «згоден», «цілком згоден». Шкали застосовують також для оцінки учнями своїх поведінкових умінь і навичок, враховуючи при цьому рівень їхньої впевненості у здатності діяти в обраний спосіб.
4. Поведінкові наміри — учневі пропонується оцінити ймовірність того, як він буде поводитися відповідно до того, що сказано у запитанні. Наприклад, для відповіді на запитання: "Я не хочу мати статевих стосунків на цьому етапі свого життя" учень має вибрати один із варіантів відповіді: “повністю погоджуюся”, “частково погоджуюся”, “частково не погоджуюся”, “повністю не погоджуюся”. В інших варіаціях цього методу наводиться конкретна життєва ситуація та перелік можливих варіантів поведінки. Учневі пропонується вибрати той варіант поведінки, який найбільш прийнятний для нього. Численні дослідження свідчать, що існує тісний взаємозв'язок між намірами і реальною поведінкою. Тому цей метод є найкращим для оцінки впливу навчання на реальну поведінку за умови, якщо тестування проводять в анонімній формі.
Інтерв'ю — відповіді на запитання у структурованій або неструктурованій формі. Застосовуються для оцінки знань, умінь і ставлень. Відрізняються від тестів тим, що вчитель під час інтерв'ю отримує інформацію і невербальними каналами. Недоліком є те, що інтерв'ю вимагає набагато більше часу.
6. Рольові ігри і моделювання —корисний інструмент як для відпрацювання поведінкових умінь, так і для їх оцінки.
7. Спостереження дає надійну інформацію про знання, ставлення, поведінкові вміння і реальну поведінку, але вимагає більше часу.
8. Дебати дають змогу оцінити ставлення до певної проблеми, а також уміння дискутувати з повагою до опонента, навички самоконтролю, толерантність, логічне і творче мислення.
9. Презентації, проекти демонструють знання змісту і здатність логічно мислити, аналізувати, доводити, мотивувати. Проекти можуть бути теоретичними (науково-пошукові роботи, дослідження) або практичними (випуск наочної агітації, розробка фото- і відеопрезентацій, рольові ігри, сценічні вистави, виступи агітбригад).
10. Творчі методи, або стимулювальні активності, – спосіб оцінити знання, ставлення, вміння, навички учнів, використовуючи їх творчий потенціал. Це можуть бути:
- портфоліо — збірник творчих робіт учня за певний період. Наприклад, у портфоліо можна включити аналіз статті, відповіді на листи, есе на задані вчителем теми;
- плакати у вигляді символів або піктограм, які, наприклад, свідчать про знання прав дитини;
- тематичний колаж або альбом, виготовлений з ілюстрованих журналів, картки з тестами або ситуаціями для інтерактивних ігор;
- пам'ятка із вивченої теми;
- вірш, пісня, сценарій гри або вистави, які стосуються теми заняття.
Наведена нижче таблиця ілюструє найчастіше використовувані інструменти оцінювання та їх релевантність для оцінки знань, умінь, ставлень і поведінки. Великий знак «Х» означає, що інструмент є найбільш корисним для оцінки відповідної складової поведінкової компетентності, а знак «х»—що він просто корисний.
| Вид інструменту оцінки |
Важливість для оцінки |
|||
|
Знання |
Уміння |
Ставлення |
Поведінка |
|
|
Закриті запитання |
Х | х | х | Х |
|
Відкриті запитання |
Х | х | х | |
|
Шкали |
х | Х | ||
|
Поведінкові наміри |
Х | |||
|
Інтерв'ю |
Х | х | Х | |
|
Рольові ігри і моделювання |
х | Х | х | |
|
Спостереження |
х | Х | х | Х |
|
Дебати |
х | Х | х | Х |
|
Презентації, проекти |
х | Х | х | Х |
|
Творчі методи, або такі що стимулюють активність |
х | Х | Х | |