In den letzten Jahren durften wir eine Vielzahl von (EU-Förder-)Projekten als neutraler Gutachter evaluieren. Unsere Bilanz liefert Ihnen Tipps, wie Sie bei Kooperationsprojekten erfolgreich(er) durchstarten.
Laut Duden bedeutet evaluieren „sach- und fachgerecht bewerten“. Genau in dieser Funktion des „Evaluators“ haben uns in den vergangenen Jahren mehrere Kund*innen um Unterstützung gebeten: Unser Auftrag lautete, die Effekte verschiedener (Förder-)Projekte zu messen bzw. zu erfassen.
Dazu wollten wir uns nicht nur auf knallharte messbare Ergebnisse beschränken, sondern auch die mindestens ebenso bedeutsamen qualitativen Aspekte herausarbeiten.
Dem inhaltlichen Facettenreichtum der Projekte konnten wir nur gerecht werden, indem wir auf ein breites Spektrum von Instrumenten zurückgreifen. Zu diesen zählten in Abhängigkeit von den Projekttypen unter anderem:
(1) Online-Panelbefragungen zur Werbeerfolgskontrolle
(2) Face-to-face-Besucherbefragungen
(3) Online-Befragungen ausgewählter Akteur*innen
(4) Zufriedenheitsbefragungen auf Fachveranstaltungen
(5) leitfadengestützte Vorher-/Nachher-Fachgespräche
(6) Ergänzend wurden eine Vielzahl Marketingkennziffern der Projektpartner*innen ausgewertet und visualisiert.
Durch unsere Analysen haben auch wir viel dazugelernt, was wir gerne mit Ihnen teilen möchten. Unsere Bilanz liefert Ihnen Tipps, wie Sie bei Kooperationsprojekten erfolgreich(er) durchstarten.
Projekt-Vorbereitung |
Zielformulierungen sind teilweise zu abstrakt oder nicht realistisch |
Immer wieder werden Projektziele formuliert, die einfach nicht realistisch sind. Häufig ist dies auch darauf zurückzuführen, dass die Akteur*innen gezwungen sind, abstrakte oder kaum messbare Zielformulierungen aufzunehmen, z. B. Steigerung der Wettbewerbsfähigkeit der Betriebe, um der grundsätzlichen Ausrichtung eines Förderprogramms Rechnung zu tragen. In solchen Fällen empfehlen wir, schon in der Beantragungsphase abzuwägen, mit welchen Indikatoren diese überhaupt nachgewiesen werden können? Konsequenterweise sind dann auch ausreichend Mittel für entsprechende empirische Erhebungen zur Evaluation einzuplanen, die genau dieser Zielstellung nachgehen. |
Förderprojekte nehmen nur langsam Fahrt auf |
Die Erfahrung zeigt. Gerade bei aufwendigen Förderprojekten startet die tatsächliche Umsetzung der Maßnahmen häufig erst mit großem Abstand zum offiziellen Projektbeginn. Meist entstehen Förderanträge kurzfristig und unter hohem Zeitdruck. Die Konkretisierung und Operationalisierung erfolgt jedoch erst nach der Förderzusage. Bis die erforderlichen Ressourcen bereitgestellt, die organisatorischen Rahmenbedingungen geschaffen, die Gremien installiert, die Erwartungen/Wünsche aller Projektpartner*innen auf einen Nenner gebracht und die Konzepte zur operativen Umsetzung formuliert worden sind, vergeht sehr viel Zeit – mehr als alle Beteiligten zu Beginn erwartet hatten. Dies kann dazu führen, dass die eigentliche Umsetzung tatsächlich erst in der zweiten Projekthälfte erfolgen kann und dann einen enormen Umsetzungsdruck ausübt. |
Projekt-Organisation |
Erfolgsfaktor Projektleitung und Projektorganisation |
Eine kommunikative und moderationsstarke Projektleitung stellt einen wichtigen Erfolgsfaktor für das Gelingen von Förder- und damit auch Kooperationsprojekten und die Maximierung der Zufriedenheit dar. Die Projektleitung muss großen Wert auf die Einbindung der und die Kommunikation mit den Partner*innen legen. Ebenso ist eine regelmäßig auf seine Aktualität zu prüfende Ablaufplanung wichtig. Insbesondere bei Projekten, die verschiedene inhaltliche Stränge verfolgen oder von mehreren Partner*innen individuell umgesetzt werden, kann die Verzahnung verloren gehen, wenn die Vorgehensweise nicht regelmäßig aufeinander abgestimmt wird. |
Auf Homogenität der Projektpartner*innen achten: |
Es ist eine erfreuliche Erkenntnis, dass die Zusammenarbeit in den Förderprojekten das gegenseitige Verständnis der Projektpartner*innen fördert und die Kooperationsbeziehungen häufig auch über das gemeinsame Förderprojekt weiter bestehen. Selbst wenn nicht alle Maßnahmen umgesetzt werden konnten oder sich nicht die gewünschten Effekte im erhofften Ausmaß einstellten, so betrachten die meisten Partner*innen allein das praktizierte Miteinander als großen Mehrwert. Wichtig ist es, die Zusammensetzung der Projektpartner*innen bewusst zu wählen und Wert auf Homogenität (z. B. in Bezug auf Partner- oder Regionstyp) zu legen. Eine Institution ins Boot zu holen, „nur“ weil diese erhebliche Eigenmittel mitbringt, aber ganz andere Erwartungen hegt als der Großteil der Beteiligten, erhöht den Kommunikationsaufwand erheblich und kann schließlich zu Enttäuschung und Dissonanzen führen. |
Kommunikation und administrativer Aufwand werden unterschätzt |
Eine weitere Erkenntnis aus vielen Projekten ist, dass der hohe Kommunikations- bzw. Abstimmungsaufwand sowie der Umfang förderadministrativer Tätigkeiten (Dokumentation, Abrechnung etc.) gerne unterschätzt werden. Hier handelt es sich um erhebliche Zeit- und Kostenfaktoren, denen bei der Projektkonzipierung und Budgetplanung mehr Beachtung geschenkt werden muss. |
Aktivierung von Betrieben kostet viel Kraft |
Das EFRE-Förderprogramm der abgelaufenen Förderperiode (2014-2020) legte bundesweit großen Wert auf die Steigerung der Wettbewerbsfähigkeit der KMU. In den evaluierten Förderprojekten hat sich herausgestellt, dass gerade die Ansprache und Motivation der Betriebe zur Mitwirkung und Wahrnehmung der Angebote trotz aller Bemühungen teilweise deutlich hinter den Erwartungen der Projektverantwortlichen zurückgeblieben ist. Projekte, die auf dieses Ziel einzahlen wollen, müssen mit einem großen Kommunikationsaufwand rechnen und auf zielgruppenadäquate Kanäle bei der Ansprache und Wissensvermittlung setzen. Je größer der individuelle Nutzen eines Angebots für die Betriebe, desto höher ist deren Interesse. Doch gerade eine individuelle Beratung von gewerblichen Betrieben verbietet sich in Förderprojekten meist aus wettbewerbsrechtlichen Gründen. So klaffen die theoretischen Ziele eines Förderprogramms und der Bedarf in der Realität weit auseinander. |
Projekt-Wirksamkeit |
Wissensschatz muss verbreitet werden |
Viele Projekte erzeugen einen umfangreichen Wissensschatz oder Daten, die in Abhängigkeit von den Adressaten in unterschiedlichen Formen (z. B. Leitfäden, Erklärfilmen) aufbereitet werden. Viele Ergebnisse werden erst bis kurz vor Projektende fertig gestellt. Die Verbreitung des Wissens kann daher aus zeitlichen Gründen gar nicht mehr innerhalb des Projektes geleistet werden oder war nie das Ziel. Um jedoch die Nachhaltigkeit der Projekte zu gewährleisten, sollte dem Aspekt der anschließenden Wissensvermittlung schon in der Planung und Anlage größere Aufmerksamkeit gewidmet werden. |
Nachhaltigkeit der Maßnahmen als Herausforderung |
Ein großes Manko von Förderprojekten ist, dass deren Nachhaltigkeit häufig nur eingeschränkt möglich bzw. zeitlich begrenzt ist. Beispiel: Im Rahmen eines Förderprojektes werden Netzwerke von Akteur*innen auch unterschiedlichster Branchen bzw. Branchenteile aufgebaut. Mit Projektende und den damit verbundenen fehlenden finanziellen Anreizen drohen sich diese Netzwerke wieder abrupt aufzulösen. Es ist daher eine wichtige Aufgabe aller Beteiligten, einen starken Zusammenhalt und eine hohe Zufriedenheit zu erzeugen, um den Boden für eine gemeinsame Weiterarbeit unabhängig von Fördermitteln bereiten. |
„Und wie geht es jetzt weiter?“ |
Die Behandlung dieser unvermeidlichen Frage zum Projektende mag zwar wie eine Selbstverständlichkeit klingen. Sie ist es in der Realität jedoch nicht, geht im Abschlusstrubel unter, oder ihr wird grundsätzlich zu wenig Zeit und Raum zur Verfügung gestellt. Förder- und Kooperationsprojekte sollten bewusst eine eigene Phase für die Beantwortung der Zukunftsfrage vorsehen und hierfür auch Mittel und Personalkapazitäten einplanen. Ideal wäre es, wenn am Ende ein konkreter Maßnahmenplan steht, wie die Aktivitäten in Zusammenarbeit mit den Projektpartner*innen gemeinsam fortgeführt werden können. |
Projekt-Evaluation |
Auf den Methodenmix kommt es an |
Um die Effekte eines Projekts in all seinen Facetten zu erfassen, ist die Anwendung eines individuell angepassten Methodenmixes unerlässlich. Einfache Messaktivitäten greifen zu kurz oder haben keine wirkliche Beweiskraft. So können sich in der amtlichen Statistik viele verschiedene Effekte überlagern, so dass kein eindeutiger Kausalzusammenhang herzustellen ist. Die Messung muss viel gezielter und an den messbaren Stellen ansetzen – z. B. über eine empirische Werbeerfolgskontrolle. Bewusst zu prüfen ist zudem, ob die Effekte überhaupt innerhalb der Projektlaufzeit eintreten oder sich überhaupt erst mittel- bis langfristig entfalten können. Qualitativ ausgerichtete Evaluierungsinstrumente dürfen daher nicht fehlen. Wenngleich hierbei keine plakativen Zahlen herauskommen, waren Fachgespräche in ihrer Aussagekraft häufig ertragreicher als viele Datenreihen. |
Von Beginn an evaluieren |
Eine Evaluation erst zum Projektende zu beauftragen und/oder sich erst dann um die Beschaffung von Daten zu bemühen, grenzt das mögliche Indikatorenspektrum deutlich ein und führt häufig zu Ernüchterung, weil die Ergebnisse aufgrund fehlenden Monitorings wenig aussagekräftig sind. Die Projektevaluation sollte daher von Beginn an angegangen werden. |
Wer an einer ehrlichen Aufarbeitung der Ergebnisse von Förderprojekten oder großen Schlüsselmaßnahmen interessiert ist, der lässt diese extern und von Beginn an kontinuierlich evaluieren. Nach mehreren Jahren engagierten Arbeitens mit viel Herzblut für ein bestimmtes Projekt ist eine neutrale Bewertung der eigenen Ergebnisse schlichtweg nicht mehr möglich.
Und die Projektpartner*innen begegnen möglicherweise einem neutralen Gutachter offener als dies beim eigentlichen Projektträger selbst der Fall ist. Deshalb gilt: Betrachten Sie eine Evaluation nicht als auferlegte Pflicht oder notwendiges Übel, sondern als wichtigen Grundbestandteil des Vorhabens, um die Effekte genau eruieren zu können und die erforderlichen Lehren aus den gemachten Erfahrungen zu ziehen.