Evaluation: Vertrauen ist gut, Wirkung zeigen ist besser

In der ersten Jahresausgabe des Magazins für Nonprofit-Management und -Marketing „Stiftung & Sponsoring“ ist ein Artikel unserer Senior Projektleiterinnen Regula Ruflin und Ricarda Ettlin zusammen mit Andreas Wieser, Kompetenzzentrum Stiftungen Von Graffenried Gruppe, erschienen. Der Bericht zeigt unter anderem auf, wie Stiftungen ihre Glaubwürdigkeit stärken und wirkungsvoller werden können. Er enthält zudem eine 10-Punkte-Checkliste, welche bei der Umsetzung der Wirkungsüberprüfung eingesetzt werden kann. Den Artikel finden Sie hier.

Begleitetes Wohnen für Menschen mit Behinderung

Bereits zwei Stunden Begleitung von Menschen mit Behinderung bei ihnen zu Hause können genügen, um die physische und psychische Gesundheit zu verbessern, soziale Kontakte zu fördern und neue Kompetenzen im Alltagsleben zu erlernen. Dies ergab eine Studie zur Wirkung der Dienstleistung «Begleitetes Wohnen», welche Pro Infirmis Jura Neuchâtel in Auftrag gab.

Evaluationsbericht (nur auf Französisch)

 

Die Evaluation ist nicht der Eindringling im Projekt

Wie lässt sich ein Projekt kreativ und kompetent evaluieren? Wie gestaltet man eine Evaluation als Lernprozess für alle Beteiligten? Mit diesen Schlüsselfragen setzt sich aktuell das Evaluationsteam von euforia intensiv auseinander: euforia fördert als soziale Organisation mit Sitz in Genf das sinnhafte Engagement von Jugendlichen und jungen Erwachsenen.

Ein aktuelles Projekt ist The Unleash Project – euforia bietet damit eine Plattform, um sich über innovative und zukunftsgerichtete Arbeitsmodelle auszutauschen. Der Austausch findet im Rahmen von regelmässigen Wochenend-Workshops statt, in denen junge Berufsleute, Fachpersonen und Arbeitgeber die Arbeitswelt von heute und morgen verbinden.

Das Evaluationsteam von euforia entwickelt in The Unleash Project aktuell ein Evaluationsdesign, welches Wirkung effizient messen und zugleich partizipative Lernprozesse fördern soll. socialdesign unterstützt euforia bei der Entwicklung und Anwendung dieses Evaluationsdesigns. Im Interview erzählt Luís Costa, Evaluator bei euforia, von «der Mission, Innovation in eine Evaluation zu bringen» – und teilt Herausforderungen, Schlüsselerkenntnisse und Erfolgsrezepte.

Luís, während den letzten Monaten habt ihr ein Evaluationsdesign für The Unleash Project entwickelt und laufend angewandt. Welche Ziele verfolgt ihr mit der Evaluation?

Wir verfolgen zwei übergeordnete Ziele: Erstens ist unser Ziel eine Evaluation, welche direkt in das Projekt eingebettet ist und allen Beteiligten laufend neue Erkenntnisse zur Weiterentwicklung des Projektes liefert. Zweitens wollen wir wissen, welche Wirkungen wir mit dem Projekt erzielen – auf diesen Wirkungen wollen wir aufbauen und darüber kommunizieren.

Ihr seid mitten im Projekt- und folglich Evaluationsprozess: Welche Zwischenresultate habt ihr in Bezug auf die zwei Hauptziele bereits erreicht?

Einerseits sind wir auf gutem Weg, ein Evaluationsdesign zu entwickeln, welches die Projektleitenden als Instrument für die ständige Projektoptimierung benutzen. Wir werten Erfolgsfaktoren und Verbesserungspotentiale nach jedem Workshop, welcher integraler Bestandteil des Projektes bildet, aus. Die daraus resultierenden Schlussfolgerungen und Empfehlungen teilen wir mit unseren Kollegen, welche das Projekt operativ leiten. Die Evaluation ist folglich kein Fremder oder Eindringling im Projekt, sondern harmonisch darin eingebettet. Unser zweites Ziel, die Wirkungsmessung, ist ein trickreicheres Unterfangen: Hier ist es wichtig, eine langfristige Perspektive einzunehmen und Daten über einen Zeitraum zu vergleichen. Erste Resultate zeigen uns, dass die Projektteilnehmenden neue Arbeitsmodelle und -ansätze, welche sie in Workshops erlernen resp. entwickeln, auch in ihrem Berufsalltag anwenden. Genau das wollen wir bewirken.

Evaluationen werden oft als ein Muss wahrgenommen. Im Gegensatz dazu habt ihr euch zum Ziel gesetzt, ein Evaluationsdesign zu entwickeln, welches die Werte eurer Organisation adäquat spiegelt – Werte wie freudvolles Engagement, Kreativität und «out-of-the-box»-Denken. Mit welchen Herausforderungen seht ihr euch bei diesem Prozess konfrontiert?

Die grösste Herausforderung besteht für uns darin, dass wir uns von konventionellen Methoden, mit denen Evaluationen meistens durchgeführt werden, lösen. Dahinter stecken ein Mentalitätswechsel und eine neue Denkart: Es geht nicht darum, laufend zu denken, dass man ein Projekt evaluieren muss oder – wie es viele von uns aus der Schulzeit kennen – Fehler und Mängel aufzudecken. Vielmehr geht es darum, zu reflektieren, welche Informationen allen Beteiligten helfen, aus Prozessen zu lernen und diese Prozesse kontinuierlich zu verbessern. Diese Denkart impliziert, dass Evaluationsteam, Projektleitende und Projektteilnehmende eng zusammenarbeiten und sich austauschen. Wir sind nach wie vor daran, die vielfach bestehende Lücke zwischen Projekt und Evaluation zu schliessen. Wie jeder Mentalitätswechsel erfordert dieser Schritt auch in unserer Organisation Zeit.

Was sind konkrete Methoden, mit welcher eine Evaluation aus eurer Sicht gemeinsames Lernen und Partizipation fördern kann?

Für The Unleash Project haben wir eine innovative Umfragemethodik entworfen: Die Umfrage basiert auf einem Online-Fragebogen, welcher Informationen mit farbigen Visualisierungen, bewegten Bildern und attraktiven Formulierungen generiert. Wichtig ist, dass wir dieses Instrument nicht mehr im klassischen Sinn als «Umfrage» bezeichnen, sondern ihm einen eigenständigen Namen geben: Der «Happymeter» besagt, dass uns mit der Befragung primär die Zufriedenheit der Projektteilnehmenden interessiert. Viele der Teilnehmenden äussern im Kommentarfeld explizit Begeisterung für das Befragungsformat, was uns in unserer Methodik bestätigt. Ein weiteres Schlüsselelement bilden für uns sogenannte Echtzeit-Evaluationsinstrumente: Wir nutzen ausgewählte Momente in der Projektumsetzung, um Daten zu erheben. Beispielsweise findet am Ende jedes Workshops eine Abschlussrunde statt. Für diese Runde stellen wir den Projektleitenden Methoden zur Verfügung, um Erfahrungen interaktiv mit den Teilnehmenden zu reflektieren – unsere Rolle als Evaluationsteam besteht anschliessend darin, die Inhalte aus diesem Debriefing systematisch zu analysieren.

Welche Unterstützung bietet euch socialdesign bei der Entwicklung eures Evaluationsdesigns?

Wir erleben die Zusammenarbeit mit socialdesign als Coaching, das uns befähigt, unsere eigenen Lösungen zu finden. socialdesign führt uns durch diesen Prozess, stellt Fragen und zeigt uns Möglichkeiten auf um dorthin zu gelangen, wo wir selbst hinwollen. Besonders intensiv und inspirierend sind die gemeinsamen Workshops: socialdesign sagt uns darin nicht, was wir tun sollen, sondern unterstützt uns, selber Antworten zu entwickeln. Als Resultat dieser Ko-Kreation ziehen wir für uns aus jedem Workshop viel neues Wissen und Inputs. In persönlicher Sicht hat die Zusammenarbeit mit socialdesign mein eigenes Interesse an einer Coaching-Tätigkeit geweckt. Ich begleite bereits jetzt andere Organisationen bei der Durchführung von Evaluationen und möchte dieses Engagement in Zukunft verstärken.

Während wir dieses Interview führen, sitzt du an deinem Arbeitsplatz in Portugal: euforia besteht aus einem Team mit Mitarbeitenden, welche in vielen verschiedenen Städten und Ländern arbeiten. Die Relevanz von Mobilität und ortsunabhängigen Arbeitsmodellen nimmt laufend zu – welches Rezept wendet euforia an, damit ‘remote work’ ein Erfolg ist?

Menschlichkeit und Wohlbefinden stehen bei uns an erster Stelle. Als Schlüsselzutat in unserem Rezept erachte ich unsere Retraiten: Das ganze Team von euforia trifft sich zweimal jährlich – im Frühjahr an einem schönen Ort in den Bergen, im Herbst am Meer. Während einer Woche arbeiten wir jeweils intensiv zusammen und lernen uns gleichzeitig beim gemeinsamen Kochen, Essen und vielen Aktivitäten persönlich besser kennen. Diese Verbindung befähigt uns, im Arbeitsalltag trotz räumlicher Distanz eng zusammenzuarbeiten. Im Alltag arbeiten wir oft mit moderner Kommunikation: Zu Beginn jeder Skype- oder Hangout-Konversation nehmen wir uns dabei Zeit, uns über unser aktuelles persönliches Wohlbefinden austauschen. Diese «personal checkings» sind unser Erfolgsrezept.

Vielen Dank für dieses Interview, Luís.

Theoretische Wirkfaktoren finden in der Online-Mailberatung praktische Anwendung

Interview mit Salomé Steinle, stellvertretende Sektionsleiterin, BAG (Sektion Prävention in der Gesundheitsversorgung)

Für Menschen, die von einer Suchtproblematik betroffen sind, aber auch für deren Angehörige, ist die Schwelle, Hilfe, Rat oder eine Beratung aufzusuchen, oft sehr hoch. Niederschwellige Angebote könnten hierbei Abhilfe schaffen. SafeZone.ch stellt ein solches niederschwelliges Angebot dar: Es ist ein online Portal für kostenlose und anonyme Online-Beratung zu Suchtfragen für Betroffene, deren Angehörige und Nahestehende, für Fachpersonen und Interessierte.

socialdesign führte im Auftrag des Bundesamtes für Gesundheit (BAG) die umfassende Studie «Anwendung von Wirkfaktoren in der Emailberatung von SafeZone.ch» durch. Die Studie untersuchte den Verlauf und den Inhalt von über 1’000 Mailberatungen, die zwischen 2014-2017 auf SafeZone.ch durchgeführt worden sind. Dabei wurden die in der Theorie und Literatur auffindbaren Wirkfaktoren operationalisiert und erstmals empirisch untersucht. Basierend auf den Ergebnissen und im Rahmen eines Workshops mit der Auftraggeberschaft formulierte socialdesign eine Reihe von praxisorientierten Empfehlungen, um die Beratungspraxis bei SafeZone.ch zu optimieren. Der Bericht sowie die Executive Summaries auf Deutsch, Französisch, Italienisch und Englisch können hier konsultiert werden.

Wir haben Salomé Steinle, stellvertretende Sektionsleiterin der Sektion Prävention in der Gesundheitsversorgung des BAG zur Studie befragt:

(more…)

Interview mit Bruno Bianchet, Leiter Abteilung Erwachsenen- und Kindesschutz (EKS) der Stadt Biel

Interview mit Bruno Bianchet, Leiter Abteilung Erwachsenen- und Kindesschutz (EKS) der Stadt Biel

Zu Beginn dieses Jahres (2017) hat die Abteilung Erwachsenen- und Kindesschutz EKS der Stadt Biel ein selbst entwickeltes Qualitätsmanagement-System (QMS) eingeführt. Von Bruno Bianchet, Leiter EKS, erfahren wir die Gründe dafür, welchen Herausforderungen die Abteilung gegenüberstand, was für die Zukunft geplant ist und auf welche Dinge geachtet werden sollte.

(more…)

Academy-Referate

Im Rahmen unseres ersten Academy-Anlasses im August haben wir Ihnen in kurzen Referaten Themenstellungen näher vorgestellt, welchen wir in unserer Arbeit begegnen. Die beiden Referate zu Strategieentwicklung, auch mit wenig Aufwand und Wirkungsmessung in Integrationsprogrammen finden Sie auf unserer Academy.

Strategieentwicklung, auch mit wenig Aufwand.

Die Strategiefindung ist bei Organisationen und Unternehmen ein Prozess, der sorgfältig durchgeführt wird und in der Regel ressourcenintensiv ist.
Es kann aber auch vorkommen, dass die Zeit drängt, wenig Ressourcen vorhanden sind oder bereits viele Grundlagen für die Strategie bestehen.
Erfahren Sie in diesem Referat, welche Möglichkeiten es in solchen Fällen gibt, einen Strategieprozess durchzuführen, mit wenig Aufwand, aber dennoch sorgfältig.

Wirkungsmessung in Integrationsprogrammen.

Die Wirksamkeit von Integrationsprogrammen ist in der Fachwelt sehr umstritten, weshalb von den Anbietern solcher Programme zunehmend ein Nachweis der Wirkungen eingefordert wird. In Zusammenarbeit mit der Berner Fachhochschule hat socialdesign ein Instrument zur Messung der Wirkungen von Integrationsprogrammen entwickelt. Das Instrument basiert auf einem Wirkungsmodell, welches nebst den harten Wirkungsdimensionen (berufliche Integration, Ablösung von der Sozialhilfe) auch weiche Wirkungsdimensionen (Gesundheit, soziale Integration, etc.) berücksichtigt. Erfahren Sie in unserem Referat mehr dazu.

Evaluation von Modellversuchen aus der Sicht der Praxisinstitutionen

In der schweizerischen Zeitschrift für Kriminologie (SZK ) veröffentlichte Klaus Mayer einen Beitrag zu «Evaluation von Modellversuchen aus der Sicht der Praxisinstitutionen – Notwendiges Übel, unnötiger Aufwand, einmalige Chance?». Warum Innovationen im Rahmen von Modellversuchen durch eine Evaluation begleitet werden müssen, lesen Sie in dieser Zeitschrift ab Seite 39.

Kurzbericht über die Evaluationsergebnisse und Erkenntnisse hinsichtlich des ANQ-Messplans

socialdesign verfasste in Zusammenarbeit mit dem ANQ (Nationaler Verein für Qualitätsentwicklung in Spitälern und Kliniken) einen Kurzbericht über die Evaluationsergebnisse und Erkenntnisse hinsichtlich des ANQ-Messplans für die Akutsomatik. Der Kurzbericht berücksichtigt sowohl die Resultate der externen Evaluation durch das Institut für Sucht- und Gesundheitsforschung (ISGF) sowie die Stellungnahmen der verantwortlichen Messinstitute und zeigt mögliche Handlungsoptionen im Hinblick auf die Weiterentwicklung des Messplans auf.