10-jähriges Jubiläum des Centrums für Evaluation

Universität des Saarlandes, Saarbrücken

 

Kurzbericht zur internationalen Konferenz „The Future of Evaluation in Modern Societies“

Dr. Wolfgang Meyer, Dr. Ute Marie Metje & Maria Albrecht

Am 14. und 15. Juni 2012 veranstaltete das Centrum für Evaluation anlässlich seines 10-jährigen Bestehens die internationale Konferenz „The Future of Evaluation in Modern Societies“. Angesichts der zunehmenden Komplexität und Globalität international vernetzter Steuerungsmechanismen steht die Evaluationsforschung vor neuen und immer stärker global ausgerichteten Herausforderungen. Die Tagung stellte die Frage, wie Evaluationen in unterschiedlichen Kontexten derzeit mit diesen Herausforderungen umgehen und welche Entwicklungstrends erkennbar sind. Knapp zweihundert Politiker, Verwaltungsexperten und Wissenschaftler aus aller Welt kamen ins Saarland, um sich anhand von sieben Vorträgen prominenter Redner und einer Podiumsdiskussion über einige zentrale Aspekte dieses Themas auszutauschen.
 
Als erster Redner beleuchtete Prof. Dr. Peter Dahler-Larsen von der Universität Süd-Dänemark die Rolle der Evaluation in den sich wandelnden Gesellschaften und verwies dabei speziell auf das „Bermuda-Dreieck“ der Evaluation, die zwischen den drängenden Wirkungsfragen, methodischen Ansprüchen und den Blockaden der Praxis unterzugehen droht. Evaluationen – so das Ergebnis der Analysen Dahler-Larsens – kommen mit ihren Ergebnissen häufig zu spät, können aufgrund der geringen Fallzahlen, der begrenzten Kontrolle und dem Variantenreichtum der Rahmenbedingungen nur selten die gewünschten robusten Daten zur Grundlage rationaler Entscheidungen liefern. Für die Zukunft der Evaluation hält er fünf Handlungsfelder und deren Entwicklung für zentral: die fortschreitende Popularisierung von Evaluation, die zunehmende Wirkungsorientierung politischen Handelns, die wachsende Systematisierung des Vorgehens von Evaluationen, das Spannungsfeld zwischen Wissenschaft und Praxis sowie die sich verändernde Nutzung von Evaluationsergebnissen.
 
Am Beispiel der Entwicklungszusammenarbeit stellte Dr. Hans-Martin Böhmer, Leiter der Strategieabteilung der unabhängigen Evaluierungsgruppe der Weltbank, die Bedeutung von Evaluationen für die Praxis vor. Nach einer kurzen Einführung in die Spezifika der Entwicklungszusammenarbeit und der von der Weltbank verantworteten Evaluationen in diesem Bereich berichtete Böhmer über Befragungsergebnisse zur Bewertung der Wirkungen von Evaluationen durch das Weltbankpersonal. Als besonders interessanter Befund ist festzuhalten, dass die Notwendigkeit und die Nützlichkeit mit zunehmender Hierarchieebene immer geringer eingeschätzt wird. Evaluationen gelingt es durchaus, auf die Gestaltung von Projekten und Programmen während deren Durchführung Einfluss zu nehmen – nicht jedoch auf die entwicklungspolitischen Strategien und Politiken, die ihnen zugrunde liegen. Auf dem „langen Weg“ der Evaluation gehen bisher die Lerneffekte verloren, wobei Böhmer allerdings einen optimistischen Blick in die Zukunft wagt: aufgrund der sich stetig verbessernden Informationslage, den zunehmenden Herausforderungen für bestehende politische Machtverhältnisse und den wachsenden Forderungen nach einer Evidenz-basierten Politik wird die Evaluation bestehende Barrieren besser überwinden lernen.
 
Im Anschluss an diese beiden Redner wurden deren zentralen Thesen aus unterschiedlicher Perspektive in einer von Dr. Wolfgang Meyer moderierten Paneldiskussion beleuchtet. Als prominentester Gast der Tagung stellte Silvia Hernández, die Vize-Planungsministerin von Costa Rica, die Praxis zur Nutzung von Evaluationen in ihrem Land vor und verwies dabei vor allem auf die Notwendigkeit, Evaluationsergebnisse für die gesellschaftliche Planung konkret nutzbar zu machen. Hierzu sind sowohl die hohe Qualität der Evaluationen und ihrer Durchführung als auch die institutionellen Einbindung in die Planungsprozesse von entscheidender Bedeutung. Prof. Dr. Donna Mertens von der Gaullaudet Universität in Washington schilderte an einem eindrucksvollen Beispiel die Notwendigkeit, kulturellen Besonderheiten Rechnung zu tragen und bei der Durchführung von Evaluationen sensibel und angemessen vorzugehen. Nur wenn dieser Respekt gegenüber allen Beteiligten gewahrt wird, kann Evaluation Wirkungen entfalten. Für die Zukunft sieht sie hier noch stärker als bisher die besonderen Herausforderungen der Evaluation. Albert Byamugisha, Leiter der Evaluationsabteilung beim Premierminister Ugandas, betonte die Schwierigkeiten seines Landes, Evaluationen als sinnvolles Instrument zu etablieren und für die gesellschaftliche Entwicklung zu nutzen. Im Unterschied zu den westlichen Ländern und auch Costa Rica steht Uganda erst am Anfang und verspricht sich insbesondere in der Zusammenarbeit mit der Bundesregierung und dem CEval wichtige Impulse zum Aufbau der benötigten Kapazitäten gut ausgebildeter Evaluatoren. Der Leiter des CEval, Prof. Dr. Reinhard Stockmann, hob schließlich die Bedeutung der Vermittlung zwischen Wissenschaft und Praxis hervor, die nur durch einen intensiven Dialog und eine weitere Professionalisierung von Evaluation möglich sein wird. Aus- und Weiterbildung kommen dabei zentrale Aufgaben zu, die nun immer stärker in einem globalen Kontext und mit entsprechenden neuen Herausforderungen zu erbringen sind. Gemeinsam mit den beiden Referenten wurden die daraus resultierenden Aufgaben für die Zukunft der Evaluation anhand von drei Leitthemen tiefergehend erörtert: dem Verhältnis von Evaluation zu Steuerung, dem Unterschied zwischen der Relevanz von Evaluation und deren praktischer Nutzung sowie dem Spannungsfeld zwischen wissenschaftlichen Standards und der praktischen Umsetzbarkeit von Evaluationen.
 
Am zweiten Tag standen zunächst die nationalen und lokalen Entwicklungen in einigen Beispielländern sowie deren Auswirkungen auf die Evaluation im Vordergrund. Prof. Dr. Donna Mertens berichtete von den Bestrebungen der Obama-Administration, alle politischen Programme auf den Prüfstand zu stellen und insbesondere rigorose Wirkungsevaluationen zum Standard zu erheben. Sie forderte vor allem die stärkere Berücksichtigung des Aspekts der sozialen Gerechtigkeit und der Zielgruppen, damit soziale Transformationen ausgelöst werden können. Prof. Dr. James Muwanga von der Makarere University in Uganda stellte die aktuellen Bemühungen zur Etablierung einer Evaluationskultur in seinem Land vor und legte dabei den Schwerpunkt seiner Betrachtungen auf das Zusammenspiel zwischen Politik und Wissenschaft. Insbesondere der Bedarf an qualifiziertem Personal und dem Erfahrungswissen im Umgang mit Evaluationen nahmen eine zentrale Rolle in seinem Vortrag ein. Jan-Eric Furubo vom schwedischen Rechnungshof hob zum einen die Erfolgsgeschichte von Evaluation in seinem Land hervor, verwies aber auch auf den steigenden Rechtfertigungs- und Erfolgsdruck, dem Evaluationen ausgesetzt sind. Dabei betonte er die Tatsache, dass Evaluationen auch negative Nebenwirkungen haben und diese zu beachten sind. Dr. Verena Friederich von der Universität Bern sprach schließlich über die gegenwärtigen Perspektiven der elf in Europa ansässigen universitären Evaluationsstudiengänge und den Herausforderungen, denen diese gegenüber stehen. Noch hat sich Evaluation als Studienfach in Europa nicht durchgesetzt und weitere Schritte zur Professionalisierung sind hierzu notwendig.
 
Die Vielfalt und Leistungsfähigkeit von Evaluationen, die z.T. aus diesen Studiengängen und den Aktivitäten der Studierenden hervorgegangen sind, wurden im Rahmen eines Marktplatzes demonstriert. Die Konferenzteilnehmer bekamen hier die Möglichkeit, sich über je zwei der dreizehn Evaluationen anhand von Posterpräsentationen näher zu informieren und mit den Verantwortlichen über ihre Ergebnisse zu diskutieren.
 
In seinem Ausblick setzt sich Prof. Dr. Frans Leeuw von der Universität Maastricht und dem
Forschungs-, Statistik- und Informationszentrum des holländischen Justizministeriums in Den Haag mit drei aktuellen gesellschaftlichen Entwicklungen und deren Konsequenzen für die Evaluation auseinander. Die steigende gegenseitige Abhängigkeit von staatlichen und privaten Akteuren stellt einerseits methodisch eine Herausforderung für Evaluationen dar und führt andererseits mit Blick auf die Steuerung von Projekten und Programmen zu neuen Formen verteilter Kompetenz, welche die Nutzung von Evaluationsergebnissen erschweren. Mit der wachsenden Verantwortung auf lokaler und Organisationsebene steigt auch die Nachfrage nach einfachen, schnell verfügbaren Evaluationswerkzeugen, die zunehmend über das Internet befriedigt wird. Am Beispiel der bisher noch weitgehend fehlenden Evaluation der „Internetgemeinschaft“ zeigte Leeuw schließlich den dringenden Bedarf, sich stärker mit transnationalen Strukturen und deren Entwicklungen auseinanderzusetzen.
 
Die Tagung endete schließlich mit einigen Schlussbetrachtungen von Prof. Dr. Helmut Asche, dem Direktor des neugegründeten Evaluierungsinstituts des Bundesministeriums für wirtschaftliche Zusammenarbeit und Entwicklung, von Prof. Dr. Maria Bustelo, der Präsidentin der Europäischen Evaluationsgesellschaft, und von Prof. Dr. Reinhard Stockmann.
 
Wir danken den Referenten, Teilnehmern am Marktplatz der Evaluation, Sponsoren und allen Gästen, die mit ihren Beiträgen wesentlich zum Gelingen dieser Konferenz beigetragen haben.

Die Tagung

Evaluation hat sich in zahlreichen (post-)modernen Gesellschaften zu einem Instrument der angewandten Sozialforschung für rationale Politikgestaltung entwickelt. Hierdurch werden nicht nur unabhängig produzierte wissenschaftliche Resultate den Führungsebenen von Staat und Gesellschaft für ihre Entscheidungen zur Verfügung gestellt, sondern auch die unterschiedlichen Sichtweisen und Interessenlagen von Stakeholdern unabhängig und möglichst objektiv in die Entscheidungsprozesse eingebunden. Deshalb können Evaluationen zur effektiveren und effizienteren Gestaltung sozialer Programme beitragen, gegenüber den Bürgern den Einsatz öffentlicher Mittel für die in solchen Programmen eingesetzten Verfahren und Mittel rechtfertigen, das Wissen über die Wirkungen dieser Verfahren verbessern und so letztlich auch eine bessere Kontrolle der Wirksamkeit von Maßnahmen sowie deren Beitrag zur Erreichung der gesetzten Ziele gewährleisten.

Bedingt durch den rapiden Wandel moderner Gesellschaften verändern sich die Herausforderungen, denen sich dieses Instrument der angewandten Sozialforschung stellen muss. In den letzten Jahren sind deshalb vor allen Dingen in Europa viele neue inner- und außeruniversitäre Institutionen und Organisationen entstanden, die sich mit der Entwicklung von Theorien, Ansätzen und Methoden der Evaluation beschäftigen. Sie folgen damit den nordamerikanischen Gesellschaften, bei denen ein vergleichbarer Prozess der Institutionalisierung und Professionalisierung von Evaluationen bereits in den 1970er Jahren einsetzte und der inzwischen nicht nur auf Europa, sondern auch auf die Schwellenländer in Lateinamerika, Afrika und Asien übergreift. Heute muss Evaluation als globales Phänomen gesehen werden, welches sich einer immer größer werdenden Bandbreite von Aufgaben und Anforderungen zu stellen hat.

Diese Tagung will einen Überblick über den aktuellen Stand der Entwicklung geben und einige der zentralen Herausforderungen in der Evaluationsforschung für das nächste Jahrzehnt aufgreifen. Am ersten Tag werden zwei Hauptredner die wichtigsten Themen und kritischen Punkte sowohl aus einer wissenschaftlichen als auch aus einer politischen Perspektive herausstellen. Als Beispiel für diese Herausforderungen wird das Spannungsfeld zwischen wissenschaftlichen Standards unabhängiger Forschung einerseits und den Interessen der beteiligten Stakeholdergruppen andererseits im Rahmen eines Expertenpanels diskutiert. Das Ziel des zweiten Tages ist es, unterschiedliche Perspektiven aufzuzeigen, wie den Herausforderungen moderner Gesellschaften durch Evaluationsforschung begegnet werden kann. Vortragende aus verschiedenen Ländern und mit unterschiedlichem beruflichen Hintergrund werden ihre Erfahrungen und Meinungen zur Verbesserung der Qualität von Evaluation innerhalb von Entscheidungsprozessen in modernen Gesellschaften darstellen. Zum Abschluss präsentieren Evaluatoren aktuelle Beispiele und Projekte aus dem Bereich der Evaluation und deren Beitrag zur Verbesserung der Entwicklung innerhalb von Nationalstaaten.