Evaluierung und Strategische Umweltprüfung

In Österreich wird im Bereich der EU-Regionalpolitik spätestens seit der Einrichtung der „Koordinations- und Arbeitsplattform Evaluierung“ („KAP-EVA“) bei der ÖROK- Geschäftsstelle für die Periode 2000-2006 die prozess- und dialogorientierte Herangehensweise bei Evaluierungen als treibende Kraft für die Hebung des Nutzens dieses Instruments erachtet. Evaluierung soll partizipativ gestaltet werden, womit dem Rollenverständnis des Evaluators als Experte und „Facilitator“ Rechnung getragen wird und eine aktive Mitwirkung der beteiligten Partnerschaft gefördert wird. Dies ist vor dem Hintergrund zu sehen, dass Evaluierung zu keinem (wissenschaftlichen) Selbstzweck durchgeführt wird, sondern ein Instrument zur Verbesserung der Qualität und Hebung der Relevanz von Programmierung und Implementierung darstellt. In diesem Licht soll Evaluierung auch einen gemeinsamen Lernprozess und partnerschaftliche Reflexion ermöglichen.

Die Eckpunkte der Programmbewertungen sind in einem vom Begleitausschuss beschlossenen Evaluierungsplan gemäß den Verordnungsvorgaben festgelegt. Im Plan wird ein Überblick über die geplanten Evaluierungen der Ziele der Prioritätsachsen gegeben, wobei der indikative Charakter zu betonen ist, da die Durchführung der Evaluierungen maßgeblich vom Fortschritt der Programmabwicklung abhängig ist.

Das von Richard Hummelbrunner, Markus Gruber und Simon Pohn-Weidinger erstellte Papier "Ergebnisorientierung in der EU - Programmperiode 2014-2020. Anforderungen und Herausforderungen für österreichische EFRE Programme. Beispiele für Interventionen" (Download als PDF-Datei) gibt einen Einblick in die Interventionslogik und mögliche Herangehensweisen an die Ergebnisorientierung in Österreich.

Für die Ergebnisorientierung wurden im Auftrag der Verwaltungsbehörde bei der ÖROK-Geschäftsstelle von JOANNEUM RESEARCH POLICIES Ausgangswerte für die Ergebnisindikatoren (sogenannte Baselines) für das IWB/EFRE-Programm erhoben. Es liegen dazu Factsheets für Österreich insgesamt und die Bundesländer vor, die unter diesem Link abgerufen werden können.

Grundlage der begleitenden Evaluierung der IWB/EFRE-Programms 2014-2020 bilden die einschlägigen EU-rechtlichen Vorgaben, insbesondere die Dachverordnung sowie die EFRE-Verordnung. Generell hat die Evaluierung die Aufgaben, die Zielerreichung des Programms zu überprüfen sowie die Effizienz und Effektivität des Programms und der Umsetzung zu bewerten. Das Ziel ist es, Informationen über die Ergebnisse zu liefern sowie Verbesserungspotenziale einerseits für die laufende Programmperiode, andererseits auch für die Zukunft aufzuzeigen. Diesbezüglich spielen die Ergebnisse der Evaluierung eine wichtige Rolle als Input für den Programmierungsprozess der Programmperiode 2021-2027, was im Zeitplan der Evaluierung entsprechend berücksichtigt wurde.

Die begleitende Evaluierung des IWB/EFRE-Programms wird von einem Konsortium bestehend aus den Firmen ÖIR (Projektleitung), convelop, KMU-Forschung, ÖAR, ÖGUT und Spatial Foresight (Luxemburg) durchgeführt. Die diesbezüglichen Arbeiten starteten (nach dem Abschluss des Vergabeverfahrens im Dezember 2017, einem Verhandlungsverfahren nach vorheriger Bekanntmachung im Oberschwellenbereich) Anfang 2018.

Die Evaluierung findet im Rahmen von zehn sogenannten „Leistungspaketen“ (LP) statt:

• Leistungspaket 1 „FTEI“: Die Prioritätsachse 1 „Stärkung der regionalen Wettbewerbsfähigkeit durch Forschung, technologische Entwicklung und Innovation“ des Programms wird unter Leitung von Markus GRUBER, convelop GmbH, evaluiert.
• Leistungspaket 2 „KMU“: Diese federführend von Peter KAUFMANN (KMU-Forschung) durchgeführte Evaluierung umfasst die KMU-Förderungen des OPs, welche insbesondere im Rahmen der Programm-Prioritätsachse 2 „Stärkung der Wettbewerbsfähigkeit von KMU“ vorgesehen sind. Methodisch kommt eine „Contribution Analysis“ als ein spezifischer Ansatz der theoriebasierten Wirkungsevaluierung („theory based evaluation“) zum Einsatz; für den Vergleich der Entwicklung von geförderten mit nicht-geförderten Unternehmen wurde ein Kontrollgruppenansatz durchgeführt. Als primäre (quantitative) Datenbasis werden die Monitoringdaten aus ATMOS II herangezogen. Um die Analysen auf eine möglichst breite Basis zu stellen, werden – auch einer diesbezüglichen Empfehlung der Europäischen Kommission folgend – Daten aus der Periode 2007-13 herangezogen, da die diesbezüglichen Maßnahmen in der laufenden Programmperiode 2014-20 großteils unverändert fortgeführt worden sind.
• Leistungspaket 3 „CO2-Reduktion“: Das LP widmet sich primär der Prioritätsachse 3 „Förderung der Verringerung der CO2-Emissionen in allen Branchen der Wirtschaft“ und wird unter Leitung von Franziska TREBUT (ÖGUT) durchgeführt.
• Leistungspaket 4 „Städtische & Territoriale Dimension“: Im Rahmen dieses Leistungs­pakets wird eine integrierte Bewertung der Zielerreichung für die relevanten Ziele der Prioritätsachsen (PA) 4 und 5 des Programms durchgeführt. Das von ÖIR unter Leitung von Ursula MOLLAY durchgeführte Leistungspaket zielt also im Kern auf die städtisch/territoriale Wirkung der IWB/EFRE-Förderung ab und fokussiert stärker auf die Einschätzung der Wirkungsmechanismen und Rahmenbedingungen während die „klassischen Evaluierungsfragen“ zur Zielerreichung, den Outputs sowie zur materiellen Umsetzung ergänzend dargestellt werden. Es wurden länderspezifische Wirkungslogiken erstellt, die im Rahmen von Fokusgruppen mit Unterstützung der PVLs in den betroffenen Bundesländern (W, Stmk, OÖ, T) vorgestellt und diskutiert wurden.
• Leistungspaket 5 „Technische Hilfe/Governance“: Die „Governance-Evaluierung“ wird von Konstantin MELIDIS (ÖAR-Regionalberatung GmbH, seit 2019 convelop GmbH) und Markus GRUBER (convelop GmbH) umgesetzt. Ziel war die Bewertung des Governance-Systems des IWB/EFRE-Programms 2014-2020 inklusive der wirkenden Programmstrukturen. Im Endbericht werden die Programmumsetzung und die Umsetzung der EFRE-Reformagenda analysiert. Empfehlungen in Hinblick auf die Organisation des IBW/EFRE-Programms 2021-2027 sowie kurzfristige Empfehlungen für die Programmperiode 2014-2020 werden gegeben.
• LP 6 „Querschnittsthemen“: Die Evaluierung der Themen „Nachhaltige Entwicklung“ und „Chancengleichheit und Nichtdiskriminierung“ inklusive der Ziele hinsichtlich „Gleichstellung von Frauen und Männern“ sowie der „Barrierefreiheit für Menschen mit Behinderung“ im Rahmen des Leistungspaketes „Querschnittsthemen“ wird unter Leitung von ÖIR, Ursula MOLLAY durchgeführt.

Dieses Leistungspaket verfolgt insbesondere folgende Ziele:

 - „Querschnittsthemen-Check“: Bewertung der Ansätze und Beiträge zu den Querschnittsthemen aus allen Prioritätsachsen (für alle inhaltlichen Leistungspakete)

 - Evaluierung und Auswertung der „Awareness-Fragebögen“: Verbesserungs­vorschläge aus der Evaluierung wurden bereits in den Online-Fragebögen implementiert.

 - Sammlung der umgesetzten spezifischen Maßnahmen zu Chancengleichheit und Nichtdiskriminierung.

• LP 7 „Kommunikation“: Im Rahmen dieses von Manfred KOJAN (ÖAR Regionalberatung GmbH) durchgeführten Leistungspakets wird die Öffentlichkeitsarbeit im Rahmen des OPs bewertet. Der Zwischenbericht liegt vor und wurde in einem Netzwerktreffen mit Kommunikationsverantwortlichen der Länder vorgestellt. Die 2. und letzte Phase des Leistungspaketes soll im 4. Quartal 2020 starten.
• LP 9 „Umsetzungsberichte“: Im Leistungspaket 9 werden von convelop halbjährliche „Umsetzungsberichte“ erstellt, die einen Einblick über die finanzielle und materielle Implementierung des Operationellen Programms – inklusive deren Einbettung in die allgemeine wirtschaftlich-konjunkturelle Entwicklung – geben. Bisher liegen drei Berichte vor, der vierte Umsetzungsbericht mit Datenstand von Oktober 2019 ist aktuell Erstellung.

Ad Hoc Evaluierungen: Die Möglichkeit von Ad Hoc Evaluierungen wurde z.B. zur Einschätzung der Programmänderungen 2019 in Anspruch genommen.

Der Zeitplan sieht eine gestaffelte Bearbeitung der Leistungspakete vor, wobei wesentliche Ergebnisse 2019 und 2020 vorliegen. Ende 2022 liegt der Bewertungsbericht gemäß Artikel 114 Dachverordnung vor (LP 8) in dem die Teilergebnisse zusammengefasst und Gesamtaussagen auf Programmebene gezogen werden.

Alle Evaluierungsberichte der begleitenden Programmevaluierung können auf der IWB/EFRE-Programmseite unter diesem Link abgerufen werden.