Bagázs hatás. A hatásmérésről konkrétan.

Egy korábbi bejegyzésemben, (Amit mérünk, az javulni fog! Vagy nem… ) a hatásméréssel kapcsolatos általános célokat, módszereket, gyakran felmerülő dilemmákat mutattam be a következő definíció mentén: „A civil szervezetek tevékenysége valamilyen társadalmi probléma enyhítésére, megoldására irányul, ezért társadalmi hatásmérésnek nevezzük azt az elemző folyamatot, amely megmutatja a szervezet munkájának hatására bekövetkező társadalmi változásokat”,

Ebben az írásban most azt foglalom össze, hogy egy civil szervezet, konkrétan a BAGázs, hogyan kezdett neki a hatásmérésnek, és milyen módszertant követve, hogyan kezdett el adatokat gyűjteni, milyen mérőeszközöket választott, és mekkora befektetéssel, milyen eredményeket vár.

A BAGázs-ról

A BAGázs Közhasznú Egyesület a Budapesttől 40 km-re található Bag nagyközség körülbelül 400 fős szegregált romatelepén dolgozik. „A BAGázs roma telepen élő emberek esélyegyenlőségéért küzd az egyéni felelősségvállalás erősítésével, helyi párbeszéd elősegítésével. Célja egy közösségfejlesztésen alapuló integrációs modellprogram kidolgozása és terjesztése.” ─ szól a küldetésnyilatkozat. Társadalmi hatást két irányból szeretne elérni a szervezet. Egyrészt a telepen, a szegregált körülmények között élő roma embereknek nyújt segítséget abban, hogy saját maguk számára célokat fogalmazzanak meg, és lépéseket tegyenek azok megvalósítása érdekében. A szervezet munkatársai segítenek a telepen élőknek olyan eszközökre és tudásokra szert tenni, amelyek növelik a választási lehetőségeiket és segítenek lekerülni a jelenlegi élethelyzetükkel együtt járó kényszerpályákról. Másrészt a befogadó oldal, a társadalom előítéletének csökkentése, a szociális érzékenység növelése is célja a BAGázsnak, hogy a többségi társadalom befogadóbbá váljon, és lehetőséget biztosítson arra (ne akadályozza), hogy a kisebbségben élők elérjék a céljaikat. A sikeres integrációhoz mind a két oldalnak fejlődnie és változnia kell. Lehetőséget nyújtanak tehát az érintett településen élők, valamint gimnazista és egyetemista fiatalok számára, hogy megtapasztalják a társadalmi különbségeket, és ezáltal növeljék az egyesület által fontosnak tartott problémák iránti érzékenységet. Nagy súlyt fektetnek a hatékony és széleskörű kommunikációra, hogy minél több emberhez eljusson a munkájuk híre, megismerjék céljaikat, és így a tevékenységük hatása ne csak a telepen élőket érintse.

Miért van szüksége a BAGázs-nak a hatásmérésre?

A hatásmérés igénye több okból is felmerült a BAGázsnál, és ez nem egyedi eset. A szervezet több mint négy éve dolgozik a telepen számos projektet valósítva meg. Ilyenek a nyári táborok, a sorstárs/kortárs mentorprogram, a gyerek-foglalkozások az alapkészségek fejlesztésére és az érzelmi intelligencia növelésére, a tanoda jellegű tevékenységek, a korrepetálás, a foci fiúknak/lányoknak, a különböző klubok, a kiskert program, a társadalmi vállalkozás támogatása, az adósságkezelő program, és a közösségi akciók. Tizenhárom önkéntes alapította a szervezetet, és az önkéntesség azóta is az egyik alappillér.  A munkájukat azonban anyagi támogatás nélkül nem tudnák fenntarthatóan végezni, így pályázati forrásokra, támogatókra van szükségük. Az eredmények és hatások megfelelő kommunikációja tehát a társadalmi érzékenyítés mellett a forrásteremtés miatt is kulcsfontosságú. Meggyőzően meg kell mutatni a támogatóknak, hogy milyen hatása, eredménye van a munkának, amit támogatnak vagy támogatni kívánnak. Másrészről a munkatársak és az önkéntesek számára is fontos, hogy tisztában legyenek erőfeszítéseik hatásairól részben motivációjuk fenntartásához, részben pedig a tudatosabb, és hatékonyabb munkavégzéshez.

A nehézségek

Egy küldetés-vezérelt civil szervezet tevékenységének hatását, munkájának hatékonyságát mérni nem könnyű feladat. Nehézséget okoz például, hogy a BAGázs is, mint a legtöbb önkéntességen alapuló civil kezdeményezés nem úgy kezdte el a tevékenységét, hogy a méréshez szükséges lépéseket végiggondolta volna, hiszen a céljai, stratégiái sem voltak még tisztán megfogalmazva. Természetesen jobb is, hogy nem volt minden lépés kőbe vésve, hiszen sok évnyi tapasztalat, bizalomépítés, szervezetfejlődés kell ahhoz, hogy egy szervezet képes legyen reális irányokban, célokban, stratégiákban gondolkodni.  Ahhoz viszont, hogy az elmúlt 4 év munkájának hatását tudományos igényű kutatással mérni lehessen a bagi telepen, elengedhetetlen lett volna egy állapotfelmérés az induláskor. Kontrolcsoport választása is az induláskor lett volna ideális, bár az is csak úgy adott volna a legkevésbé torzító eredményt, ha véletlenszerűen választ ki a szervezet a telepi gyerekek közül 50-et, akik járnak foglalkozásokra, táborokba és véletlenszerűen másik 50-et, akik nem. Ilyen kiválasztás és módszer a valóságban viszont nem működik, nem lehet kényszerrel foglalkozásra járatni 50 gyereket egy közösségből, miközben másik 50-nek pedig tiltjuk a részvételt. A kényszernek és a kötelező kimaradásnak is számos torzító hatása lenne a mérés eredményére, nem beszélve az etikai ellenvetésekről. Igaz, a valóságban is vannak kimaradók, de őket sem lehet könnyen kontrolcsoportnak tekinteni, hiszen kimaradásuk fő oka, hogy körülményeikben és/vagy egyéniségükben jelentősen különböznek azoktól, akik nyitottan és érdeklődően fogadták a BAGázs által nyújtott lehetőségeket. Ugyan figyelembe vehetjük (levonjuk) az eredendő különbséget, hátrányt, ami a résztvevők és a kimaradók között van, és úgy nézhetjük meg a különbséget a két csoport között egy időszak végén, de ehhez rendelkeznünk kéne egy olyan pszichológus-, pedagógus kutató stábbal, aki fel tudja mérni a több mint száz gyerek személyes és szociális kompetenciáit „bemenetkor” és „kimenetkor” is.

A folyamat

Majd négy év jelenlét után, a BAGázs vezetői úgy érezték, hogy a szervezet céljai és hosszú távú tervei már elég kidolgozottak ahhoz, hogy egy hatásmérés projektet indítsanak. Ezt a projektet is éppen úgy meg kellett tervezni, mint bármilyen más munkafolyamatot:

1. A feladat meghatározása.
2. A hatásmérésben érdekelt munkatársak összehívása.
3. Külső szakemberek felkérése (szociológus, közgazdász, pedagógus kutató), akik be tudtak, akartak önkéntesen kapcsolódni a munkába.
4. A főbb kérdések tisztázása, mint például a BAGázs küldetése, és a kutatás valós célja, hiszen a kettő nem elválasztható. Továbbá a mérés időtartama, és esetleges megismételhetősége, a rendelkezésre álló erőforrások. Egy másik kérdéskör volt az, hogy voltaképpen kikre gyakorolt hatást mérjünk: a gyerekekre, a telepre, az egész bagi településre, az önkéntesekre, a társadalomra?
5. Más, hasonló hatásmérések tanulságainak feltérképezése.
6. A módszertani kérdések tisztázása.

Miért pont az IKSZ hatását mérjük?

Egy szociológus csapat vállalta, hogy a telepen elvégzi az állapotfelmérést. Ez az írás erről a kutatásról nem számol be, hanem egy másik leszűkítést mutat be, ami a BAGázs jelenlétének és tevékenységeinek a gyerekekre gyakorolt hatását kívánja mérni. Ez utóbbit egy három fős munkacsoport vállalta (köztük jómagam), és sok-sok megbeszélés után véglegesre szűkítette a kutatási célt, és mérési eszközöket, valamint indikátorokat választott hozzá.

A szűkítés megértéséhez fontos tudni, hogy a BAGázs több módon is jelen van és hat a bagi felnőttek és gyerekek életére. Részben a fent felsorolt programokkal valamint az Iskolai Közösségi Szolgálat (IKSZ) elnevezésűvel, amely a legtöbb gyereket közvetlenül érinti. Az IKSZ célja a telepen élő 5-13 éves gyerekek alapkészségeinek a fejlesztése, illetve a résztvevő önkéntesek és középiskolások társadalmi érzékenyítése. Több mint 90 gyereket ér el a program (a telepen körülbelül 120 ennyi idős gyerek van összesen, de mivel a programban való részvétel önkéntes, ezért nem jár mindenki). A gyerekek 6-8 fős csoportokban hetente egyszer vagy kétszer járnak foglalkozásra, amit egyetemista és középiskolás fiatalok tartanak (összesen majdnem 50-en). A gyerekcsoportok korosztály szerinti bontásban, kijelölt napokon járnak, és mindig ugyanaz a 3-4 egyetemista és középiskolás várja őket. A programot egy pedagógiai munkacsoport támogatja foglalkozástervekkel, lehetséges feladatokkal, játékokkal, hiszen a fiatal önkéntesek zömében nem rendelkeznek pedagógiai tapasztalattal.

Kézenfekvőnek tűnt, hogy az IKSZ programban részt vevő több mint 90 gyerekre alapozzuk a hatásmérést. A fent említett okok miatt kontrolcsoporttal nem rendelkeztünk, de arra gondoltunk, hogy egy most elvégzett és egy pár év múlva megismételt állapotfelmérés valószínűleg kimutatna változást a gyerekeken. Nem az IKSZ, vagyis nem csak az IKSZ hatását szeretnénk kimutatni a gyerekeken, hanem a BAGázs komplex jelenlétének (minden programjának, foglalkozásának) hatását. Hipotézisünk az, hogy ha az IKSZ-ban résztvevő gyerekek személyes és szociális „állapotát” vizsgáljuk, akkor a 3 év múlva vizsgált 8 évesek jobb eredményeket fognak készségszinten elérni, mint a mostani 8 évesek.

A módszer

Állapotfelmérést lehet komoly pszichológiai tesztekkel végezni és/vagy minél több adatot gyűjteni a gyerekekről. Felmerült, hogy kezeljük adatként a kötelező kompetenciateszt eredményeit, a bizonyítványt, a hiányzásokat, az érdemjegyeket, a kapcsolati térképet, attitűdöket, jövőképet, a tanárok véleményét, az egészségi állapotot (testsúly, droghasználat, cigi), a továbbtanulást, vagy a lemorzsolódást. Mindent mérlegelve úgy döntöttünk, hogy a csapat kapacitása nem teszi lehetővé, hogy 90 gyerekről ennyi adatot megszerezzünk. A megoldás abból a megfontolásból indult, hogy ha az önkéntes és közösségi szolgálatos fiatalok hetente találkoznak a gyerekekkel, akkor ők valamilyen formában dokumentálhatnák a tapasztalataikat. Ezeknek a tapasztalatoknak a leírása és elemzése olyan adatokat, indikátorokat adna nekünk, amik már alkalmasak lehetnek a változás mérésére.

A foglalkozási napló

Az információgyűjtés elsődleges eszköze így az úgynevezett foglalkozási napló lett. A naplózás előnyeiről a Toldi Tanodában dolgozó Lencse Mátétól hallottam sokat, tőlük származik az Bagázs IKSZ foglalkozásnaplójának a váza is. A naplók feldolgozását még ők is csak most kezdik, de hatásról, tanulságokról már most be tudnak számolni (itt)!

A mi foglalkozás naplónk kérdéseit a pedagógiai munkacsoport céljaival és a támogatók véleményével, tapasztalatival egyeztetve állítottuk össze.

Az IKSZ programot támogató pedagógiai munkacsoport az alábbi készségfejlesztési területek mentén segíti az önkéntesek munkáját foglalkozástervekkel, feladat és játékgyűjteményekkel: szociális készségek, beszédkészség, mozgásos-tájékozódó készségek: testkép, térbeli tájékozódás; végrehajtó funkciók: alkalmazkodás, szabálykövetés, koncentráció, figyelem.

A pedagógiai célokat mindenképp figyelembe kellett vennünk a foglalkozási napló tervezésekor valamint azt is, hogy milyen eredményekről, hatásokról számoltak be korábbi önkéntesek. Ezek között ilyeneket találunk: a gyerekek lelkesek, jól érzik magukat; rendszerességgel, pozitív mintával találkoznak; kötődés, személyes viszony, bizalom alakul ki; szabálykövetésük javul, koncentrációjuk nő; csoportban jobban dolgoznak; idegenekkel jobban kommunikálnak; a konfliktusokat jobban kezelik.

2014 szeptemberében újult erővel folytatódott a már két éve sikeresen működő IKSZ program a Norvég Civil Támogatási Alap támogatásával. A projekt másfél éve alatt 3×15 hetes turnusokban folynak a foglalkozások a telepi gyerekekkel a már korábban leírt rendszerben. A hatásmérés munkacsoportunk ezt a 3×15 hetet követi végig. A követés, mérés elsődleges eszköze a foglalkozási napló, amit minden foglalkozás után megírnak az önkéntesek.

A napló egy kétoldalas kérdőív. A legtöbb kérdésre egy öt fokozatú skálán kell bekarikázni a választ (a skála értékeihez gyakran magyarázatot is fűztünk), de van, ahol kifejtést kérünk a kitöltő önkéntesektől. A kérdések többek között a gyerekek együttműködésre, figyelmére, aktivitására, viselkedésére vonatkoznak.  

Tehát például, ha szerda délután 6 gyerekkel foglakozott egy egyetemista és két gimnazista, akkor ők hárman közösen kitöltenek egy-egy foglalkozási naplót mind a hat gyerekről. Ez akár több mint fél óra plusz munka is lehet (egy napló kitöltése legalább 5 perc).

Ezzel a naplózással azonban nem csak az a cél, hogy adatokat gyűjtsünk a hatásméréshez, hanem az is, hogy tudatosabbá, hatékonyabbá, motiváltabbá tegyük az önkéntesek munkáját a kötelező reflexióval és az esetek átbeszélésével. A pedagógiai célokat is jobban átgondolják, a játékokat/feladatokat is tudatosabban használják a naplózás hatására. Ezért is volt fontos, hogy a naplóban feltett kérdések egybevágjanak a pedagógiai célokkal.

Hogyan tovább?

Itt tartunk most. Eltelt az első 15 hét, van sok száz kitöltött foglalkozási naplónk, amiket elkezdtünk egy jól megszerkesztett Excel táblában kódolni. A napokban 6-8 fős fókuszcsoportos interjúkat készítünk az IKSZes középiskolásokkal, az önkéntes egyetemistákkal, a helyi koordinátorokkal, akik maguk is a bagi telepen élő roma emberek, és részt vesznek segítőként az IKSZ programban. Ezt a 15 hetes naplózást és a fókuszcsoportokat tekintjük „állapotfelmérésnek”, információgyűjtésnek. Kisebb változás, tendencia a 15 hét alatt is látható lehet, de hosszútávon a minden évben kétszer 15 hetes naplózások adataiból lehet majd remélhetőleg olyan információkat kinyerni, amelyek komolyabb változásokat, tendenciákat jeleznek. Jó volna megmutatni, és mindenekelőtt megtapasztalni a változásokat, azt például, hogy a telepen élő gyerekek jobban boldogulnak a sok fiatal önkéntes erőfeszítéseinek hatására, ami majd valós társadalmi változást indít el.

Matolcsi Zsuzsa