Evaluace v SP

Na tomto místě se chceme věnovat čím dál více poptávanému tématu, a to vyhodnocení, zda činnosti sociální práce jsou účinné a jak toto měřit. PKSP se v letech 2017-2018 zabývala tématem evaluace zevrubně v rámci projektu podpořeném nadací J&T. Proběhlo 6 facilitovaných setkání v různých místech ČR, dne 23. 1. 2019 se ve spolupráci s Katedrou sociální práce FF UK konala závěrečná konference na téma Hodnoty sociální práce tváří v tvář systému. Odborným garantem těchto aktivit byl PhDr. Petr Vojtíšek, PhD. S jeho svolením přinášíme tento souhrn, který vyšel v čísle 6/2018 časopisu Sociální práce/Sociálna práca, http://www.socialniprace.cz/zpravy.php?oblast=2&clanek=1112 Zde plné znění:

Evaluace v praxi sociální práce v ČR očima sociálních pracovníků Evaluation in Social Work Practice in the Czech Republic from Social Workers point of view.

Autor:
PhDr. Petr Vojtíšek, PhD je absolventem a nyní odborným asistentem Katedry sociální práce FF UK. Od roku 2006 působí ve vedoucích pozicích v sociálních službách, zabývá se managementem v sociální práci a sociální politice. Od roku 2010 vede soukromou praxi jako lektor a konzultant v oblasti řízení a vedení sociálních institucí a projektů.

Abstrakt
Článek je komentovaným shrnutím výstupů ze 6 skupinových diskusí vedených se sociálními pracovníky napříč regiony ČR. Tématem diskusí se stala tematika měření a hodnocení výsledků a dopadů v sociální práci. Text tak přináší kromě shrnutí názorů sociálních pracovníků k dané problematice i přesnější popis stavu hodnocení efektivity v organizacích a organizacemi působícími na poli profesionální sociální práce. Dále přidává kritickou reflexi zjištěných výsledků v souvislosti s teoriemi evaluace.

Klíčová slova
Dopady, Efektivita, Evaluace, Kritéria kvality, Sociální práce, Výsledky sociální práce, Výstupy,

Abstract
The paper refers and comments the outputs of 6 group discussions among social workers across the Czech Republic. Discussions focuses on the issue Evaluation of outcomes and impacts of social work. It contains social worker´s opinions summary and the particulary description of the state of evaluation inside professional social work agencies. Further, the article adds a critical reflection of the discussions´ outcomes in comparison with an evaluation theory.

Keywords
Impact, Efficiency, Evaluation, Indicators of Quality kvality, Social work, Outcomes od Social Work, Outputs

Úvod

Hodnocení výsledků a dopadů je jednou z klíčových fází a zároveň odbornou činností managementu napříč odvětvími. Ani sociální práce není (nebo by neměla být) výjimkou. Právě dobré vyhodnocení výsledků a dopadů sociální práce a jejich prezentace mohou přinést klíčové argumenty pro její profesionalizaci, o které se v posledních letech tolik mluví. Tento článek volně navazuje na článek autora publikovaný v tomto časopise v čísle 6/2017. Onen článek shrnuje pohled sociálních pracovníků na profesi sociální práce a jako jeden z deficitů uvádí právě špatnou prezentaci výsledků sociální práce (Vojtíšek, 2017: 152-159). A nejde jen o jeden z deficitů, ale rovnou o deficit zásadní. Nyní se budeme zabývat jednou z částí problému a tím je vyhodnocení výsledků a dopadů. Bez hmatatelných výsledků se složitě obhajuje jakékoliv konání, navíc financované v drtivé většině z veřejných prostředků. S hmatatelností výsledků v sociální práci je to však velmi obtížné. Na druhou stranu lze pomocí komplexní a relevantní evaluace prezentovat výsledky a dopady sociální práce alespoň ve viditelných rysech. I Barr se při své zevrubné ekonomické kvantifikaci sociálního státu dostává i k otázce veřejných služeb (v britském prostředí především veřejného zdravotnictví a školství) a sám uvádí, že na rozdíl od výdajů na dávky jsou výdaje na služby mnohem obtížněji vyhodnotitelné. Naráží přitom na problém kauzality mezi poskytovanou intervencí a výsledkem („uzdravením“) na straně beneficienta pomoci. (Barr, 1993: 291-293). Dále pak k efektivitě uvádí, že ji namísto měření a striktní monetizace musíme definovat spíše zásadami a standardizovanými legálními nároky (Barr, 1993: 318).

Hodnocení a vyhodnocování označujeme souhrnně pojmem evaluace. Té můžeme přičíst i jeden další efekt, a sice zhodnocování – tedy přičítání hodnoty určité činnosti. A sice hodnoty, kterou odhalujeme až evaluací a která nemusela být při plánování zamýšlena.

Evaluace a sociální práce

Evaluace patří ke každodennímu konání a činnostem ve všech oborech lidské činnosti. Je vykonávána bezděčně, intuitivně a slouží jako klíčová součást plánování. Díky manažerským teoriím se evaluace jako pojem začíná systematizovat a dostává sofistikované podoby. Teoretických podkladů k evaluacím je řada a koření z prostředí manažerských teorií. Evaluace je nedělitelnou se součástí Demingova cyklu (PDCA), kde spolu s fázemi plánování, realizace a tvorby opatření tvoří základní životní cyklus každého procesu, projektu a každé činnosti (Kreitner, 2008: 492).

Evaluaci v sociální práci se teoreticky uceleně teoreticky věnují Cheetman a kol. kteří rozlišují evaluaci orientovanou na klienta a na službu. Navíc se snaží i formulaci principů v zajištění ekonomické efektivity (Cheetman, Fuler a kol., 2000). Můžeme nalézt i současné autory, kteří se věnují evaluacím v různých odvětvích, které využívají metody sociální práce. Dobrým příkladem je např. de St. Croix, která se systematicky věnuje měření výsledků a dopadů u ohrožené mládeže (de St. Croix, 2017). Tématu evaluace v sociální práci se v české literatuře okrajově dotýká ve své publikaci k managementu kvality v sociální práci Malík Holasová (2014: 106-108). Kromě toho představuje i pár metod vhodných pro řízení evaluace, ale jde spíše o formální kritéria kvality řízení v organizaci než o evaluaci samotné sociální práce (např. modely TQM, ISO). Pro praktickou přípravu evaluace v oblasti sociální práce nám může dobře posloužit metodika MPSV, která vznikla pro evaluaci projektů zaměřených na sociální začleňování v rámci ESF, OP Zaměstnanost 2014-2020 (MPSV, 2015). Obsahuje popis pojmů i nástrojů pro provádění evaluací, seznamuje např. s teorií změny, evaluačním designem (evaluační maticí) nebo typy evaluačních otázek. Není však zcela návodná, k její aplikaci jsou navíc ještě třeba zkušenosti s evaluací.

Evaluační strategie (nejen) v sociální práci mohou nabývat dvou základních pojetí: i) Evaluace podle standardů , která se zaměřuje na posuzování zjištěných skutečností podle předem definovaných hodnotících kritérií. Nazýváme jí konfirmační evaluací neboli „goal-based evaluation“ (Hendl, Remr, 2017: 301), nebo také jako „standard-based evaluation“ (Stake, 2004: 54-85). Sama o sobě přináší exaktnější výsledky, které však mohou mít rezervy ve validitě. ii) Evaluační strategie založená na interpretativním způsobu posuzovaní zjištěných skutečností. Interpretativních strategií je celá řada a podrobněji je popisuje např. Remr (Hendl, Remr, 2017). Bývá také nazývána jako responzivní evaluace. Její výsledky sice nemusí být tolik měřitelné a plánovatelné, na druhou stranu může lépe reagovat na vývoj situace, která je hodnocena. Uvedené dělení má blízko i k dělení postaveném na rozdílném zaměření evaluace a aplikace v v různých fázích řízení. Rozlišujeme: - evaluaci dopadu nebo dopadovou evaluaci (MPSV ČR, 2015; Stake, 2004: 37-38) Dopadová evaluace hodnotí podle evaluačního plánu předem stanovená výkonnostní kritéria, která nazýváme klíčové ukazatele výkonnosti, bývají označována jako KPI (Key Performance Indicators), přitom je musíme definovat skutečně výkonově, nikoliv jako jednoduchou metriku (simple metrics) (Savkin, 2017: 21), která je srovnatelná např. s daty vykazovanými poskytovateli sociálních služeb do OK systému. KPI musí být měřitelnými kritérii (nejčastěji kvantifikovatelnými) nebo definovánaná výsledným stavem nebo ještě lépe kýženým dopadem. Produktem dopadové evaluace jsou faktické a měřitelné výstupy podložené důkazy.

- evaluaci procesu nebo procesní evaluaci Jedná se o pravidelnou kontrolní a korektivní činnost, která vede ke zlepšování procesů v organizací, jak na úrovni procesů hlavních (samotné poskytování služby), tak i procesů podpůrných (řízení PR, řízení lidských zdrojů) a řídících (strategické řízení, řízení kvality). Procesní evaluace umožňuje identifikovat silná a slabá místa v průběhu poskytování služby klientovi a hned je korigovat ať už změnou jednání např. sociálního pracovníka nebo změnou okolností poskytování (změnou postupu, úpravou pravidel apod.). Za všech okolností je procesní evaluace záměrnou činností a neprovádíme ji mimochodem. Nemůže být nahrazena ani debrífinkem, ani supervizí. I procesní evaluace by měla mít svou evaluační metodiku a harmonogram.

Z pohledu zaměření na výsledek evaluace je možné ještě rozlišovat evaluaci: - formativní Formativní evaluace pomáhá formovat průběh činnosti (v našem případě např. průběh poskytování intervencí), organizační nastavení, vhodnost vybraných činností nebo celých služeb vzhledem k zamýšleným cílům, výběr vhodných cílů vzhledem k zamýšleným změnám, atd. Tedy jde spíše o průběžné vyhodnocování okolností vedoucích k dosahování žádoucího stavu. - sumativní cílem sumativní evaluace je posouzení efektů, kterých bylo dosaženo. A to především výsledků a dopadů, než pouhých výstupů činnosti. Sumativní evaluaci ale nesmíme zaměňovat s auditem, i když v řadě charakteristik je mu podobná. Nemá však kontrolní charakter. Srozumitelné modely pro využití výše popsaných různých typů evaluací uvádí např. Hendl (Hendl, 2015: 295).

Vojtíšek podrobněji popisuje i různé úrovně nebo patra evaluace, konkrétně jde o úroveň klienta (krátkodobé i dlouhodobé výsledky na straně klienta), úroveň organizace (výsledky poskytovatelské organizace či instituce) a úroveň společnosti (společenského nebo komunitního dopadu) (Vojtíšek In Šámalová, Tomeš, 2018: 34-36). Tyto úrovně jsou použity i při kategorizaci výsledků v následujícím textu.

Pro úplnost je nyní třeba ještě krátce popsat rozdíl mezi jednotlivými efekty nastávajícími činností sociálního pracovníka nebo celých týmů. Evaluační teorie rozlišuje: - výstupy – Výstupy jsou většinou „hmatatelná“ a fakticky doložitelná fakta, která jsou bezprostředním plodem vykonávané činnosti. V sociální práci výstupy známe např. ze statistik OK systému MPSV ČR, který sbírá data o počtech klientů, minutách intervencí, počtu skupin, nákladovosti na hodinu práce apod. I přesto, že může jít o užitečná data, nemusí korelovat s (žádoucími) výsledky, které jsou od sociálních pracovníků očekávány. - výsledky – Naopak, to, co se očekává od sociálních pracovníků, jsou výsledky. Výsledkem je zamýšlená změna, která má díky intervenci/činnosti nastat. Jedná se o změnu na straně klienta, která však bohužel závisí kromě schopností sociálního pracovníka do velké míry i na vůli klienta. A v takovém případě je téměř nemožné evaluovat kauzalitu mezi výsledkem a činností sociálního pracovníka. Přitom otázka měření kauzality u evaluací byla již dříve zkoumána. Remr referuje o tom, že jako metoda měření byla použita metoda experimentu s kontrolní skupinou. Posléze ale byly vyloučeny oblasti, kde takový experiment s kontrolní skupinou a randomizovaným vzorkem není validní. I intervence v praxi sociální práce splňuje tyto znaky (Remr, 2017, 288). - dopady – Dopady bývají interpretovány buď jako dlouhodobé výsledky na straně klienta nebo změny na straně třetích stran a prostředí. V našem případě změny v životě klienta vzešlé z výsledků práce s ním a dále dopady na straně komunity nebo společnosti, které nastanou díky výsledkům u klientů. Měření dopadů je vlastně ověřováním dosažení definované vize. Dopady a jejich měření by mělo být doménou hlavně zadavatelů, tj. v našem prostředí především představitelů veřejné správy a samospráv. Při jistém zjednodušení lze provést paralelu, kterou využívají při evaluaci např. procesní modely CAF nebo model excelence EFQM. Vizi odpovídají dopady, které nastávají v dlouhodobém horizontu. Cílům odpovídají výsledky ve střednědobém horizontu a procesům odpovídají výstupy jako okamžitý efekt. Upřímně je nutné konstatovat, že rozdíl mezi dopady a výsledky v sociální práci je mlhavý, samotní sociální pracovníci – účastníci diskusí - tento rozdíl (oprávněně) zpochybňují, a to především kvůli efektu „mrtvé váhy“ .

Evaluační praxe v sociální práci

Nyní přicházíme k prezentaci interpretovaných výsledků sady 6 skupinových diskusí, které proběhly v roce 2018 a kterých se účastnilo 152 sociálních pracovníků ze 6 krajů ČR. Diskuse byly pořádány Profesní komorou sociálních pracovníků, z.s. ve spolupráci s akademickými pracovišti (VŠ a VOŠ) a veřejnými institucemi (krajské a městské úřady). Nastavení diskusních skupin odpovídalo formě In-group forum (BERG, 2004: 201), která umožňuje na rozdíl od klasických focus group (Flick, 2009: 31) relativně homogenní složení skupiny respondentů orientovaných stejným tématem. Složení skupin probíhalo víceméně samovýběrem.

Díky sledování a interpretaci výsledků skupinových diskusí máme solidní přehled o evaluační praxi jak v neziskových organizacích, tak v sociální práci ve veřejné správě. Přitom se nejedná pouze o shrnutí výsledků, ale i jejich reflexi autorem.

Zcela jednoznačně se ukázalo, že v měření dopadů a výsledků jsou organizace (ve kterých působí sociální pracovníci) na různé profesionální a systematické úrovni evaluace.

Velká diskuse byla vidět opakovaně ve 4 skupinách v otázce porovnání dobré sociální práce a účinné sociální práce. Část účastníků vnímá dobrou a účinnost sociální práci jako synonymum. Druhá část připouští, že někdy dobře odvedená sociální práce nemusí být účinná a naopak, tedy účinek se někdy dostaví i bez intenzivní sociální práce, může být ovlivněn jinými faktory (prostředí, zásah jiného profesionála atp.). Často také záleží na zadavateli – pokud je jím klient, je větší pravděpodobnost, že dobře provedené metody sociální práce přinesou i očekávaný výsledek (účinek), kterým je odstranění nebo nezhoršování problému nebo dosažení cíle nastaveného při dojednávání zakázky. Účinná sociální práce je podle části účastníků i tam, kde pozitivní zpětná vazba od klienta je v souladu s pozitivní sebereflexí sociálního pracovníka. A dokonce se můžeme setkat i s takovou konfigurací, kdy i přes špatný pocit sociálního pracovníka (tedy přes negativní sebereflexi – např. nepřiměřené emoce při práci s klientem, nenastolení více variant klientovi) má jeho práce s klientem pozitivní účinek na život klienta.

V následující tabulce je přehledné shrnutí nejčastějších způsobů, které pro evaluace používají sociální pracovníci ať už sami nebo v rámci řízení organizace. Pro uvedená kritéria pak mají vlastní - více či méně - sofistikované a někdy spíše intuitivní operační definice. Jak je vidět, řada kritérií je spíše intuitivních, ale zato autentických. Jsou uváděna i kritéria, která jsou velmi subjektivní a mohou nahrávat i chybám v interpretaci. V diskusi se odrážel velký rozdíl v dosažitelnosti měření a posuzování výsledků a dopadů s ohledem na způsob sociální práce (preventivní vs. terapeutická), jakož i v poskytovatelském subjektu (soc. pracovníci ve veřejné správě vs. pracovníci v soukromém neziskovém sektoru). Proto i v následujících přehledech bude uveden přehled podle oblastí sociální práce. U pracovníků ve veřejné správě navíc není zcela jasné, kdo je klientem a zadavatelem - ohrožená osoba nebo veřejná správa/politik? Pracovníci se tak dostávají do etického dilematu, ve kterém nemají systematickou oporu. A značně to komplikuje i evaluaci. Rozdělení oblastí sociální práce v tabulkách je ovlivněno skladbou sociálních pracovníků – účastníků diskusí.

Zajímavým zjištěním je, že ucelený systém vnitřní evaluace v organizaci je spíše ojedinělý. Nebo je za systém evaluace považován souběh několika nereflektovaně poskládaných zdrojů zpětné vazby. K tomu zřejmě může vést i prosté následování formulace standardu kvality sociálních služeb číslo 15, stejně jako standardu kvality pro SPOD číslo 11, které evaluaci vytrhávají z kontextu řízení kvality.

Tam, kde existuje systematičtější evaluace se jen výjimečně jde ještě o krok dál, tedy ke strategické práci s výsledky evaluací, např. pro následné sledování trendů, porovnávání či argumentaci v rámci veřejné správy nebo před dárci. Často se vede „pouze“ výkaznictví – a spíše se odevzdává, než aby se analyzovalo.

Hodnocení výsledků je mezi sociálními pracovníky opakovaně založeno na subjektivním vnímání vlastní profesionality, odbornosti a „dobrého pocitu, že se to podařilo“. Z pohledu formativní i sumativní evaluace je to sice těžko měřitelný, snad i irelevantní, ale pro vědomí dobře odvedené práce velmi důležitým aspektem nejen autoevaluace, ale i motivace pracovníků k další práci. Kromě autoevaluace je téměř u všech sociálních pracovníků (včetně těch ve výkonu kontroly ve veřejné správě) velmi důležitým zdrojem pro hodnocení výsledků zpětná vazba, a sice zpětná vazba od klienta. A to i přesto, že u preventivní sociální práce bývá méně častá, než ve službách péče nebo v poradenství. Při diskusích o zdrojích zpětné vazby dále uvádějí i význam zpětné vazby od kolegů z pracoviště. Dobře podaná zpětná vazba je vnímaná jako prvek posilující týmovou spolupráci. Třetím zdrojem zpětné vazby jsou další spolupracující instituce, která se projevuje i tím, že vznikne důvěra ve spolupráci a probíhá např. předávání klienta, spolupráce na případu atd.

Poslední poznámkou nebo postřehem z diskusí je i fakt, že řada evaluačních kritérií definovaných sociálními pracovníky je negativně vymezena (absence negativních zpětných vazeb, dočasně stabilizovaná situace, absence pochybení apod.) a získávána náhodně z vnějšího prostředí (výsledky kontrol, inspekcí, spokojenost politiků).

Na závěr nám nechávají diskutující dvě otázky, které je možné ponechat v této podobě pro další zkoumání: - „Posuzujeme úspěch (účinnost) sociální práce pro teď nebo pro život?“ Tedy zda výsledek intervence v horizontu 1 roku je pro úspěch v životě produktivní nebo kontraproduktivní? - „Potřebuje sociální práce standardizaci nebo bude lépe ji nechat diverzifikovanou dle osobnostních kvalit a aplikačních schopností sociálních pracovníků?“

Závěrečné doporučení k evaluaci v sociální práci

Namísto klasického shrnujícího závěru (který by jen shrnoval shrnutí) jsou předložena doporučení, která vznikla jako reakce na poznání stavu evaluace mezi sociálními pracovníky. Jsou výsledkem autorovy kritické reflexe a jsou formulovány pro praxi.

Nejen u preventivní sociální práce nebo při výkonu dohledu a kontroly je třeba se zaměřit na posuzování správné diagnostiky, správně stanovených cílů, správné aplikace postupů. Zároveň i jejich konkrétní provázanost. Je třeba používat spíše procesní evaluaci. Výsledkem preventivní sociální práce může být i správná aplikace a reflexe postupů vzhledem k diagnostice a cílům . A to zvláště v případě nemotivovaných klientů. Díky aplikaci procesní evaluace můžeme postupně vytvářet i standardizované postupy. Toto doporučení je mj. v intencích evaluačních metod v procesu sociální práce. (Cheetman, Fuler, 2008: 48-55). Má i blízko k metodice „process tracing“ (Schulte-Meklenbeck a kol. 2011: ), která se k takové evaluaci hodí. Měření změny (posunu) na úrovni klienta není totiž příliš validní. Obecně sociální pracovník musí nést odpovědnost za správnost procesu práce s klientem, nikoliv za výsledky, které jeho intervence přináší.

Na druhou stranu, pokud chce sociální práce pozitivní prezentaci, neobejde se do budoucna bez jasně formulovaných výsledků. Pokud si profese sociální práce chce vybudovat ve společnosti své pevné a respektované místo, nezbyde než začít lépe systematizovat koncepční a legislativní práci na evaluacích v sociální práci, a to zejména v evaluacích dopadových.

Použité zdroje:

BERG, B. L. 2004. Qualitative Research Methods for the Social Sciences. 5th Edition. Pearson Education Inc.
FLICK, U. 2009. Designing Qualitative Research. London: Sage Publications Ltd.
STAKE, R. E. 2004. Standard-Based and Responsive Evaluation. London: SAGE Publications.

BARR, N. 1993. The Economics the Welfare State. London: Weidenfeldt and Nicolson.
de St. CROIX, T. Youth work, performativity and the new youth impact agenda: getting paid for numbers? [online]. In Journal of Education Policy, Volume 33, 2018 - Issue 3. London: Taylor and Francis Online [9. 1. 2019]. Dostupné z: https://www.tandfonline.com/doi/full/10.1080/02680939.2017.1372637
HENDL, J. 2015. Kvalitativní výzkum. Praha: Portál
HENDL, J. REMR, J. 2017. Metody výzkumu a evaluace. Praha: Portál.
CHEETMAN, J.; FULLER, R.; McIVOR,G.; PETCH, A. 2000. Evaluating Social Work Effectivness. Buckingham: Open University Press.
KREITNER, R. 2008. The Principles of Management, 11th Edition. Boston: Cengage Learning.
MALÍK HOLASOVÁ, V. 2014. Kvalita v sociálních službách asociální práci. Praha: Grada.
MPSV ČR. 2015. Metodika pro evaluaci nesoutěžních projektů OP Zaměstnanost 2014-2020 [online]. Praha: MPSV ČR [7. 1. 2019]. Dostupné z: https://www.esfcr.cz/documents/21802/1872869/3.1+Metodika+pro+sebeevaluaci/f6701263-9e12-4a63-b73a-a881005b6fc0?version=1.0&previewFileIndex=
SAVKIN, A. 2017. 10 Steps KPI System. BSC Designer.
SCHULTE-MECKLENBECK,, M.; KÜHBERGER, A.; RAYNARD, R., eds. 2011. A Handbook of Process Tracing Methods for Decision Research: A Critical Review and User’s Guide. New York: Taylor & Francis
VOJTÍŠEK, P. 2017. Plánování a evaluace lokální veřejné politiky v sociálních službách v ČR. In ŠÁMALOVÁ, K, TOMEŠ, I. a kol. Řízení sociálních procesů v České republice. Praha: Univerzita Karlova, Nakladatelství Karolinum