Q

Qualität

Was hat Transparenz mit Qualität zu tun? Offenheit kann zwar als Wert an sich und damit als ein Qualitätsmerkmal wissenschaftlicher Arbeit betrachtet werden. Aber auch als Mittel zum Zweck ist Transparenz in der Forschung mit dem Qualitätsgedanken verbunden.

  • Open Data
  • Commons
  • Open Access
arrow_back Zurück zur Übersicht

Wissenschaft, öffne dich! – Wie transparente Forschungsprozesse Qualität in der Wissenschaft befördern

  • Rima-Maria Rahal

Ein Essay von Rima-Maria Rahal

Was hat Transparenz mit Qualität zu tun? Offenheit kann zwar als Wert an sich und damit als ein Qualitätsmerkmal wissenschaftlicher Arbeit betrachtet werden. Aber auch als Mittel zum Zweck ist Transparenz in der Forschung mit dem Qualitätsgedanken verbunden.

Dies gilt, obwohl die Wissenschaft ein diverses und facettenreiches Feld ist, auf dem unterschiedliche Forschende Fragestellungen aus verschiedenen Blickwinkeln mit unterschiedlichen Methoden und Fokus auf verschiedenen Aspekten bearbeiten. Denn trotz aller Diversität ist sich die Wissenschaft in einem Kernaspekt einig: Es geht darum, Erkenntnisse zu gewinnen und die Grenzen dessen, was wir verstehen und erklären können, auszuweiten. 

Neue Erkenntnisse mit erfundenen Rädern

Dieser Prozess des Erkenntnisgewinns kann besser oder schlechter ablaufen. Im Optimalfall ist der Prozess unter anderem sowohl selbst korrigierend als auch kumulativ. Zum einen sollen bessere Erklärungsansätze bestehende, weniger passende ablösen. Um diese Entwicklung zu ermöglichen, bauen zum anderen Fragestellungen und Methoden aufeinander auf – anstatt das Rad ständig neu zu erfinden, werden mit den bereits erfundenen Rädern neue Erkenntnisse vorangetrieben. Zugleich können aber Fehlversuche auch als solche erkannt werden, sodass zukünftige Ressourcen nicht weiter in Forschungsvorhaben investiert werden, die sich schon als Sackgassen herausgestellt haben. So bleibt der Forschungsprozess zielgerichtet und ressourceneffizient. 

Das Aufeinander-Aufbauen von Forschungsvorhaben lässt sich jedoch nur dann erreichen, wenn der Wissenschaftsprozess an sich transparent gestaltet wird.

Wissenschaftlerinnen und Wissenschaftler müssen sich im Detail über den Forschungsgegenstand informieren können, um ihn beforschen zu können. Dies wird durch die Publikation von Forschungsinhalten in offenen Formaten gefördert: etwa Open Access in mehr oder weniger traditionellen Zeitschriften, in Form von (Vorab-)Veröffentlichungen außerhalb solcher Zeitschriften (Preprints) oder als unkonventionelle Beiträge in anderen frei zugänglichen Medien (Blogs, Podcasts, etc.).  Weiter können nur transparent kommunizierte Theorien mit testbaren Hypothesen überprüft, korrigiert und erweitert werden. 

Dafür sind wiederum transparente Tests dieser Hypothesen notwendig, sodass die Theorien entsprechend überarbeitet werden können. Auch hier gilt: Nur transparent verfügbar gemachte Arbeiten lassen sich nachvollziehen, reproduzieren und replizieren. Forschende müssen sich über die Arbeit ihrer Kolleginnen und Kollegen informieren können, um (ggf. empirisch) zu prüfen, ob sie unter denselben Voraussetzungen zu denselben Schlüssen gelangt wären. Denn nur diejenigen Arbeiten können zur Korrektur oder Bestätigung von Theorien herangezogen werden, die durch ihre Nachvollziehbarkeit und Robustheit tatsächlich dazu geeignet sind. Sonst entstünde eine Verzerrung der Theorie, die dadurch ihre Erklärungs- und Aussagekraft einbüßen würde. Außerdem würden weitere Forschungsvorhaben sonst in die falsche Richtung zielen. Wird jedoch der Prozess des Erkenntnisgewinns transparent, lässt er sich überprüfen und ggf. korrigieren. Demnach trägt Transparenz dazu bei, den Wissenschaftsprozess so zu formen, dass kumulative und selbst korrigierende Abläufe umgesetzt werden können. 

Die Offenheit und ihre Grenzen

Zudem können Bemühungen unternommen werden, schon in der Vorbereitung von Forschungsarbeiten den Prozess so zu gestalten, dass möglichst verlässliche Erkenntnisse generiert werden. Dazu sind beispielsweise transparente Publikationsformate wie Registered Reports geeignet, die schon vor Durchführung der ausschlaggebenden Tests zur aufgestellten Theorie unabhängige Expertinnen und Experten im Peer-Review-Verfahren* einschalten. Anders als beim klassischen Peer-Review am Ende der Forschungsarbeit können so methodische Verbesserungen vorgenommen werden, bevor der erkenntnisgebende Prozess durchgeführt wird. Zudem ermöglichen solche Formate auch die Publikationszusage unabhängig von den entstehenden Ergebnissen, sodass Verzerrungen (z. B. zulasten nicht-signifikanter Ergebnisse) in der Forschungsliteratur vermieden werden. Dadurch kann die veröffentlichte Literatur zum passgenaueren Abbild der tatsächlich stattfindenden Forschungstätigkeiten werden. 

Wie transparent muss der Forschungsprozess aber genau sein? Muss jedes finale Ergebnis eines Forschungsabschnitts offengelegt werden oder soll engmaschiger berichtet werden, soll sogar jeder einzelne Gedanke der Beteiligten öffentlich zugänglich gemacht werden? Was bedeuten Nachvollziehbarkeit, Offenheit und Transparenz im Spiegel der unterschiedlichen Disziplinen und Methodenzugänge? Und wo haben sie ihre Grenzen, wenn zum Beispiel Fragen des Datenschutzes, des Urheberrechts, von Konkurrenz unter Forschenden oder praktische Begrenzungen bei der Speicherung, Zugänglichkeit und Nutzung der zur Dokumentation von Forschungsprozessen generierten Datenmengen ins Spiel kommen? Ganz offen und total transparent kann die Wissenschaft wohl nicht sein. 

Dennoch, die Transparenz der Forschungsansätze ist ein zentrales Kriterium für den Ablauf des Wissenschaftsprozesses im Sinne guter wissenschaftlicher Praxis und fördert die Qualität der Forschungsarbeit. Statt massenhaft Literatur ohne Rücksicht auf deren Belastbarkeit zu publizieren, rückt die Frage, ob Erkenntnisse nachvollziehbar sind und ob darauf aufgebaut werden kann, in den Fokus der Forschungstätigkeit. Schließlich ist ein transparenter Wissenschaftsprozess also auch dazu geeignet, die Priorisierung von Forschungsqualität zu ermöglichen. Demnach sollte die wissenschaftliche Arbeit so offen und transparent wie möglich sein. 

*Peer-Review-Verfahren

Eine Peer-Review (englisch von Peer, Gleichrangiger, und Review, Begutachtung, seltener deutsch: Kreuzgutachten) ist ein Verfahren zur Qualitätssicherung einer wissenschaftlichen Arbeit oder eines Projektes durch unabhängige Gutachterinnen und Gutachter aus dem gleichen Fachgebiet.

[Quelle: Wikipedia]

Wikimedia-Salon „Q=Qualität. Ist Offene Wissenschaft die bessere Wissenschaft?“

Weitere Infos:

Rima-Maria Rahal

Rima-Maria Rahal studierte Psychologie in Heidelberg und Amsterdam und promovierte an der Universität Leiden zu kognitiven Grundlagen von Entscheidungen in sozialen und moralischen Dilemmata. Ihre Doktorarbeit schrieb sie zur Erforschung von Gemeinschaftsgütern. Derzeit arbeitet sie an der Tilburg University. Rahal ist Alumna des Fellowships Freies Wissen und erarbeitet einen Onlinekurs zu methodischen Grundlagen wissenschaftlichen Experimentierens unter Einbeziehung offener Forschungspraktiken.

Interview

  • Lydia Pintscher

Von Datenqualität und Wikidata

Was bedeutet für dich „gute Datenqualität“, was bedeutet es für Wikidata?

In den vergangenen Jahren hat Wikidata immer mehr an Bedeutung gewonnen als die Quelle für maschinenlesbare Grundlagendaten. Zum Beispiel, wenn es um Hauptstädte geht, um die Lebensdaten berühmter Persönlichkeiten, das Veröffentlichungsdatum eines Films – aber auch um Beziehungen zwischen Konzepten, etwa: „Das Einhorn ist eine mythische Kreatur“. Viele Organisationen nutzen Daten aus Wikidata, um ihren Nutzerinnen und Nutzern Informationen und Wissen zu vermitteln und ihre Produkte zu verbessern.

Mit dieser wachsenden Bedeutung steigt auch die Verantwortung, korrekte und verlässliche Daten zur Verfügung zu stellen. Datenqualität in Wikidata hat viele Aspekte. Besonders wichtig sind Genauigkeit (sind die Daten frei von Fehlern?), Objektivität (sind die Daten unvoreingenommen?), Reputation (haben die Daten vertrauenswürdige Referenzen?) und Konsistenz (sind die Daten konsistent modelliert?). Nur wenn diese Kriterien erfüllt sind, kann Wikidata eine gute Datenquelle für Wikipedia und andere Projekte innerhalb und außerhalb des Wikimedia-Kosmos sein.

Was unterscheidet Wikidata von anderen Wissensdatenbanken wenn es um Qualität geht?

Im Gegensatz zu anderen Wissensdatenbanken versuchen wir bei Wikidata die Welt mit ihrer Komplexität genauer abzubilden.

„Die Qualitätsarbeit in Wikidata ist vor allem deshalb so spannend weil es ein offenes Projekt ist, an dem sich alle beteiligen können und das sehr flexibel ist“.

Lydia Pintscher

In Wikidata ist es zum Beispiel möglich, verschiedene Sichtweisen nebeneinander zu stellen – natürlich mit Referenzen. Das ermöglicht es zum Beispiel, verschiedene Seiten eines Disputs festzuhalten und sichtbar zu machen, statt so zu tun, als würde es diesen Disput nicht geben. Oder, wie es leider oft geschieht, nur eine Sichtweise zuzulassen – je nachdem, wen man sich mit den Daten gewogen machen möchte. Außerdem ist es möglich, in Wikidata überholte, aber nach wie vor weit verbreitete Daten zu speichern und sie als veraltet zu markieren – um zu vermeiden, dass sie weiter als korrekt angesehen werden.

Was wird unternommen, um die Qualität der Daten zu verbessern?

Momentan arbeiten wir zum Beispiel an einem tool namens Query Builder. Das ist ein Werkzeug, das es uns unter anderem erleichtert, Daten zu finden, an denen noch gearbeitet werden muss. Editierende können damit etwa eine Liste von Menschen erstellen, die angeblich verstorben sind, bevor sie geboren wurden – oder sich eine Karte aller Städte in Deutschland anzeigen lassen, um eventuell Städte zu identifizieren, deren Koordinaten fälschlicherweise außerhalb von Deutschland liegen. Ein anderes Werkzeug, das wir entwickelt haben und das von den Editierenden weitläufig genutzt wird, sind die Constraint Checks.

Damit lassen sich Regeln für die Daten in Wikidata definieren. Alle Daten werden dann gegen diese Regeln getestet und eventuell gefundene Regelverletzungen werden den Editierenden angezeigt, damit sie sie beheben oder als Ausnahme markieren können. So sollten etwa Ehepartnerinnen und -partner von Menschen auch wieder Menschen sein. Wobei es natürlich Fälle wie den einer Frau gibt, die den Eiffelturm geheiratet hat! Aber das wäre dann eben die zu kennzeichnende Ausnahme.

„Wenn man heute dem digitalen persönlichen Assistenten auf dem Smartphone eine Wissensfrage stellt, ist es nicht unwahrscheinlich, dass die Antwort auf Daten in Wikidata beruht“.

Lydia Pintscher

Wie kann die Community sich einbringen?

Die Qualitätsarbeit in Wikidata ist vor allem deshalb so spannend weil es ein offenes Projekt ist, an dem sich alle beteiligen können und das sehr flexibel ist. Diese Offenheit ist auf den ersten Blick eine Schwäche. Jede und jeder kann ja kommen und ungeprüft eintragen, was sie oder er will. Aber gleichzeitig ist sie auch eine große Stärke. Denn genau so bietet Wikidata allen die Möglichkeit, gute Daten einzubringen, oder einen Fehler zu berichtigen. Die Kunst besteht darin, die Offenheit des Projektes zu erhalten und gleichzeitig Fehler und Vandalismus zu vermeiden. Die Editierenden, mein Team und ich arbeiten jeden Tag daran, die besten Lösungen dafür zu finden.

Wie profitiert die Welt außerhalb von Wikidata von besserer Datenqualität?

Die Daten in Wikidata werden natürlich nicht nur zum Selbstzweck gesammelt und gepflegt. Wir alle tun das, um eine gute Datengrundlage für Wikipedia, die anderen Wikimedia-Projekte sowie viele andere Unternehmungen und Organisationen außerhalb von Wikimedia zu schaffen. Da unser Leben mehr und mehr von Technologie abhängt, ist es wichtig, dass diese Technologie hochqualitative Daten als Grundlage hat. Wenn man heute dem digitalen persönlichen Assistenten auf dem Smartphone eine Wissensfrage stellt, ist es nicht unwahrscheinlich, dass die Antwort auf Daten in Wikidata beruht. Es ist wichtig, dass diese Antworten korrekt sind. Und es ist wichtig, dass die Datengrundlage für alle offen zur Verfügung steht und jede und jeder dazu beitragen kann. Nur so können wir echte Teilhabe auch in Zukunft sichern.

Was würdest du dir wünschen um die Datenqualität in Wikidata auch langfristig sicherzustellen?

Ich würde mir wünschen, dass viele der Projekte und Organisationen, die Daten von Wikidata in ihren Produkten nutzen, dies auch klar angeben. Das würde Transparenz für die Nutzerinnen und Nutzer dieser Produkte schaffen und sicherstellen, dass sie in die Lage versetzt werden, Daten zu ergänzen und etwaige Fehler zu beheben.

Weitere Infos

Lydia Pintscher

Lydia Pintscher ist Produktmanagerin Wikidata bei Wikmedia Deutschland e.V. sowie Vizepräsidentin des KDE e.V. Sie studierte Informatik an der Universität Karlsruhe. Pintscher hat sich um hoch anerkannte Beiträge zur Freien-Software-Gemeinschaft, wie z. B. die Leitung mehrerer großer Mentorenprogramme, verdient gemacht.