Inspiráció, tapasztalatcsere, tudásmegosztás a mélyszegénységben élő gyerekek fejlesztéséről és tanulástámogatásáról.
kontent
Interjúk Cikkek Tudástár Élménypedagógia-blog
kontakt
MATOLCSI ZSUZSA
matolcsi.zsuzsa@i-dia.org
+36 30 297 30 54
támogatók
A demokrácia iskolája

Amit mérünk, az javulni fog! Vagy nem…

DeMo-blog 2014.10.17

Egyre több fórumon merül fel a kérdés, hogy hogyan tudják civil szervezetek megmutatni munkájuk hatását a célcsoportokra és a tágabban értelmezett közösségekre, sőt, a komolyabb pályázatokban le is kell írni a várható hatásokat. Nem is beszélve a vállalati támogatókról, akik különbséget téve indikátorok és társadalmi hatás között, kifinomult mérési módszereket várnak el támogatottjaiktól. Mik ezek?

 

Mi fán terem a hatásmérés?

 

A civil szervezetek tevékenysége valamilyen társadalmi probléma enyhítésére, megoldására irányul, ezért társadalmi hatásmérésnek nevezzük azt az elemző folyamatot, amely megmutatja a szervezet munkájának hatására bekövetkező társadalmi változásokat.

 

A társadalmi hatásmérés egy kis civil szervezet szempontjából egészen mást jelent, mint egy nemzetközi nagyvállalat esetében. Mégis, azok a mérési módszerek és eszközök, amiket vállalatok számára dolgoztak ki adott társadalmi befektetésük hasznosságának és hatékonyságának megítélésére, kiindulásnak fontosak lehetnek a civil/non-profit/küldetés-vezérelt szervezetek számára. A vállalatok mérési eszközeinek ismerete többek között azért lehet szükséges, mert a cég társadalmi befektetése, társadalmi felelősségvállalása gyakran történik civil szervezetek támogatásán keresztül. Ilyenkor a vállalat társadalmi hatása összefügg a szervezet társadalmi hatásával, ezért a kis szervezeteknek is hasonló mérési módszertant kell használniuk, mint a támogató vállalatnak. Mindkettőjük érdeke, hogy az eredményeik mérhetőek és jól kommunikálhatóak legyenek.

 

A DeMo-ban résztvevő 13 szervezet mélyszegénységben élő, sérülékeny gyerekek és fiatalok élethelyzetének javításával foglalkozik, vagy olyan fiatalok érzékenyítésével, akik hasonló helyzetű gyerekekkel és fiatalokkal fognak dolgozni. A társadalmi probléma tehát adott, a kérdés az, hogy hogyan mérjük a szervezetek munkájának hatását.

 

Akik már csinálják

 

A Social Impact Analysts Association (SIAA) – Társadalmi Hatásmérők Szövetsége egy nemzetközi szervezet, akiknek a munkáját, céljait és eszközeit többen is a figyelmembe ajánlották.

 

Víziójuk „egy olyan világ, ahol társadalmi célú szervezetek stratégiájuk tervezéshez és küldetésük eléréséhez használják a társadalmi hatásmérést.” [1]

 

Definíciójuk szerint a társadalmi hatásmérés „az a folyamat, amely azokat az akár pozitív, akár negatív társadalmi változásokat méri, amelyek a szervezet irányvonalai, programjai, projektjei hatására keletkeznek. A társadalmi hatásmérés azáltal idéz elő pozitív társadalmi változást, hogy segíti a non-profit és küldetés-vezérelt szervezeteket, hogy jobban megértsék és javítsák a hatásukat.” [2]

 

Non-profit és küldetés-vezérelt szervezetek számos különböző okból végeznek hatásmérést, például, hogy megállapítsák, mi működik és mi nem, hogy átláthatóbban mutassák meg a pénzük és a munkájuk értékét. A kormány és a harmadik szektor számára elengedhetetlen, hogy egyértelmű, megbízható információjuk legyen a szervezetek munkájának társadalmi hatásáról. A részletes és alapos mérés elvégzése a szervezet vezetőit is segíti abban, hogy jobban megértsék a munkájukat, újragondolják a módszereiket a hatékonyságuk maximalizálása érdekében.

 

Pár hónapja részt vettem egy Társadalmi hatásmérés nevű munkacsoportban, amit a magyarországi Civil Support az SIAA tagjaként koordinál. Egy ilyen munkacsoport-ülésen ajánlottak két honlapot azok számára, akik komolyan szeretnének foglalkozni a társadalmi hatásméréssel, és azon belül is inkább a vállalatok, cégek szempontjaira kíváncsiak, ezek a  Social Reporting Standard valamint a London Benchmarking Group

 

Egy lehetséges módszer

 

Sokat tanultam a módszertanok és megközelítések böngészése közben. Vegyük például az alábbi, hét lépésből álló módszert:

 

Van egy társadalmi probléma (1), amelyre reagálva van egy víziónk és vannak céljaink (2). Beleteszünk erőforrásokat: pénzt, időt, természetbeli adományt, emberi munkát (3), majd elvégezzük a munkát/projektet (4). A projekt végén meg tudjuk mutatni, hogy mi történt a célcsoporttal (5), ennek köszönhetően tudunk mondani valamit az eredményekről, hatásokról (6). Végül újra ránézünk a társadalmi problémára (7).

 

Ezt a kört használhatja minden szervezet, csak nyilván egész más a hatása egy milliárdokkal gazdálkodó szervezetnek, mint a néhány önkéntessel dolgozóénak. Ugyanakkor ez nem jelenti azt, hogy egy kis szervezet hatékonysága ne lehetne jobb. A hatás és a hatékonyság javítására egyformán érdemes törekedni.

 

A hatásmérés lehetséges céljai

 

Úgyszintén ebben a munkacsoportban gyűjtöttük össze a hatásmérés lehetséges céljait:

 

  • megmutatni a célhoz közeledést, és ennek hatékonyságát
  • bebizonyítani, hogy a rövid távú tevékenység szolgálja a hosszú távon elérni kívánt hatást
  • megmutatni, hogy az erőforrások (pénz, egyéb adomány, idő stb.) hogyan térülnek meg a cél érdekében
  • bemutatni, hogy ez egy szakma, ami speciális szaktudást jelent, és egyben interdiszciplináris
  • garanciát nyújtani
  • a fenntartható és folyamatos társadalmi változást szolgálni
  • segíteni a jó és rossz gyakorlatok beazonosításában
  • segíteni az elmozdulást a projektekből a hosszú távú együttműködések felé
  • tényszerűen bemutatni a civil szervezetek hatását a társadalomra
  • eszközöket adni a társadalmi változások elérésén dolgozó szereplők kezébe
  • erősíteni a döntéshozókkal való párbeszédet
  • közös nyelvet kialakítani az adományozó és az adományozott között

 

A hatásmérés csapdái

 

A fentiek alapján egyértelműnek látszik, hogy a hatásmérés fontos és hasznos. Ennek ellenére, itt kell megemlítenem, ami sokszor felmerült más szakmai beszélgetéseim során, hogy a hatásmérés hatékonyságát is figyelembe kell vennünk, mielőtt belevágunk egy mérésbe/kutatásba. Egy jó mérés nagyon sok erőforrást igényelhet, mérlegelnünk kell tehát a hatásmérésbe fektetett időt, pénzt, munkát és a hasznot, eredményt, amit a hatásméréstől várunk. Éppen úgy, mint egy mérendő projektünknél, ahol úgyszintén azt szeretnénk megtudni, hogy a befektetett erőforrásokhoz képest mekkora az eredmény.

 

Úgyszintén vigyáznunk kell az „amit mérünk, az javulni fog” kijelentéssel. És itt most nem is a gyakran felbukkanó szkeptikus véleményekre gondolunk, miszerint „a végén úgyis addig lehet csavarni a számokat, míg ki nem derül, hogy minden javult”. Azért kell óvatosnak lennünk, mert bár bizonyított, hogy amire jobban odafigyelünk, amit fontosabbnak gondolunk, az változni fog, végül az fog változni, amit mérünk. Vagyis vigyáznunk kell, hogy a mérés valóban előreviszi-e a szervezetet a céljai elérése felé. Például, ha az a küldetésünk, hogy egy befogadóbb társadalomban éljünk, és úgy döntünk, hogy a gyerekek iskolai jegyeinek javulását akarjuk mérni, előfordulhat, hogy azon kapjuk magunkat, a házi feladatok és a korrepetálás elemzésével töltjük az időt. Ami persze nyilvánvalóan nem haszontalan, de nem biztos, hogy ezeken keresztül mérhetőek igazán a befogadóbb társadalom léptékei.

 

Egy másik veszély lehet, hogy a mérés esetleg negatívan hat a résztvevőkre, rombolva ezzel a munkájuk eredményességét. Egy kérdőíves vizsgálat során azt kérték a pedagógusoktól, hogy jegyezzék fel, mikor váltak a gyerekek agresszívvá, mikor „rosszalkodtak”. Ennek hatására a pedagógusok mindig azt figyelték, hogy mikor engedetlenkednek a gyerekek, és ettől hamarosan mindenkinek rossz kedve lett. Később megváltoztatták a kérdőívet, és a pedagógusoknak azt kellett megfigyelniük, hogy mikor vannak jól a gyerekek, mikor élvezetes a foglalkozás. Ez sokkal jobb hatással volt mindenkire, és a vizsgálat is eredményesebb munkához vezetett.

 

A mérési eredmények értékelésével is vigyáznunk kell: előfordulhat, hogy a kiértékelés szerint nem értünk el hatást, pedig egyszerűen nem vettünk figyelembe egy nem szándékolt hatást, ami megváltoztatta a várt eredményt. Egy korábbi projektünkben, amelynek az volt a célja, hogy fiatal önkéntesek érzékenyebbé váljanak a társadalmi ügyek iránt, nem vettük figyelembe, hogy egyúttal magukkal szemben is tudatosabbak, reflexívebbek is lesznek az önkéntesség hatására. Amikor a projekt elején, illetve végén fölvett önbevallós kérdőívekből az derült ki, hogy az önkéntesek nem lettek empatikusabbak, sőt, épp ellenkezőleg, a hátrányos helyzetű emberekkel szembeni együttérzésük csökkent, elkeseredtünk. Később kiderült, a jelenség oka, hogy az önkéntesek önismerete megváltozott: az önkéntes tevékenység előtt még sosem találkoztak ennyire szegény gyerekekkel, és azt gondolták magukról, hogy nagyon érzékenyek és empatikusak, ám az önkéntes tevékenység hatására rá kellett jönniük, milyen keveset is tudtak a szegények élethelyzetéről, és milyen sokat kell még fejlődniük, tanulniuk az empátia terén. Emiatt rosszabbnak értékelték saját együttérzésük szintjét, mint az önkéntes tapasztalat előtt.

 

Változás-e, ha nincs romlás?

 

Fejes József Balázs, Kelemen Valéria és Szűcs Norbert A Motiváció Hallgatói Mentorprogram modellje című kézikönyvében[3] olvasható vélemény is elgondolkodtató, miszerint a gyerekekkel való munkánk gyakran preventív jellegű, és ezért az is eredmény lehet, ha valami nem romlik tovább egy gyerek életében. Ezt kontrollcsoporttal lehetne bizonyítani, de kontrollcsoportot szinte lehetetlen választani ezen a területen. „A mentorálás eredményeiről nehéz becslést adni, többek között azért, mert a mentori kapcsolatnak részben preventív hatása van. A mentorálás kedvező szerepét az eddigi vizsgálatok, többek között, az iskolai lemorzsolódás, hiányzás, antiszociális viselkedésformák megelőzésében, csökkentésében, az iskolával, tanulással kapcsolatos attitűd és a tanulási motiváció kedvezőbbé válásában, valamit a szülőkkel, kortársakkal való kapcsolatok pozitív irányú változásában mutatták ki. (Fejes, Kasik és Kinyó, 2013). Vagyis főként olyan területeken, amelyek a tanulási eredményességet közvetve, hosszabb távon befolyásolják. Emellett az eredményesség mutatóit sem könnyű megválasztani, mivel a mentorálás előnye éppen az, hogy az adott tanuló egyéni szükségleteire építhet. Ez tanulónként rendkívüli változatosságot mutathat, noha a tanuláshoz szükséges képesség jellegű tudás fejlesztése majdnem minden mentorált diáknál hangsúlyos volt.”[4] – írják a szerzők.

 

Mire jó a hatásmérés?

 

A hatásmérés eredményeit több területen is használhatjuk, ahogy ez már a különböző célok felsorolásából is kiderült. Egy kis civil szervezet esetében a támogatók meggyőzése tűnik a fő szempontnak, de gyakran megjelenik az az igény is, hogy a szervezet a tudatosabb működés érdekében szeretne részt venni egy hatásmérési folyamatban. Több szervezet fogalmazta meg, hogy nem csak kifelé szeretné kommunikálni a hatását, hanem befelé is, a saját munkatársai, önkéntesei motiválása érdekében, sőt, a szervezet vezetői is azt remélik, hogy jobban megértik a szervezetük működését egy ilyen mérési folyamat során.

 

A tapasztalat az, hogy kis civil szervezetek esetében, amelyek kevés és kiszámíthatatlan forrásból dolgoznak (Magyarországon a legtöbb civil szervezet ilyen), legalább olyan fontos, hogy a mérés hatására a szervezet valamilyen fejlődésen, változáson menjen keresztül, mint az, hogy egyértelmű társadalmi hatásokat tudjunk kimutatni. A támogató cégek, vállalatok gyakran tudatosan olyan kérdéseket tesznek fel a hatásmérés kapcsán a civil szervezeteknek, amelyek egy szervezetfejlesztő folyamat első kérdései is, mert tudják, hogy hosszútávon ezzel segítik igazán a szervezetet. Ilyenkor előkerülnek az alapító okiratban kitűzött célok, végig kell gondolnunk a szervezet küldetését és a tevékenységi köreit, át kell tekintenünk a rendelkezésre álló erőforrásokat és azt is, hogy kik és hogyan hoznak meg döntéseket a stratégia vagy egy adott projekt kialakításakor. A pénzügyi tervezés és adminisztráció tisztázása is következménye lehet egy ilyen folyamatnak.

 

Számos eszköze van a hatásmérésnek (beszámolók, adatelemzések, interjúk, kérdőíves felmérések, kutatások), és nagyon sok szempontot figyelembe kell vennünk, amikor választunk közülük. Célunk, hogy a DeMo-ban résztvevő szervezetek egy kifejezetten rájuk szabott, közösen végiggondolt és kifejlesztett mérőeszközzel végezzenek hatásmérést akár egy projektjükön, akár az egész szervezetük munkáján.

 

Matolcsi Zsuzsa

[1] http://www.siaassociation.org/about/siaa/

[2] http://www.siaassociation.org/wp-content/uploads/2014/01/Start-Social-Impact.pdf

[3] http://www.staff.u-szeged.hu/~fejesj/pdf/FJB_KV_SZN_mentorprogram_ekonyv_hu.pdf

[4] Fejes József Balázs, Kelemen Valéria és Szűcs Norbert (2014): A Motiváció Hallgatói Mentorprogram modellje, Motiváció kiadványok, 39.o.