Q

Qualität

Was hat Transparenz mit Qualität zu tun? Offenheit kann zwar als Wert an sich und damit als ein Qualitätsmerkmal wissenschaftlicher Arbeit betrachtet werden. Aber auch als Mittel zum Zweck ist Transparenz in der Forschung mit dem Qualitätsgedanken verbunden.

  • Open Data
  • Commons
  • Open Access

Wissenschaft, öffne dich! – Wie transparente Forschungsprozesse Qualität in der Wissenschaft befördern

  • Rima-Maria Rahal

Ein Essay von Rima-Maria Rahal

Was hat Transparenz mit Qualität zu tun? Offenheit kann zwar als Wert an sich und damit als ein Qualitätsmerkmal wissenschaftlicher Arbeit betrachtet werden. Aber auch als Mittel zum Zweck ist Transparenz in der Forschung mit dem Qualitätsgedanken verbunden.

Dies gilt, obwohl die Wissenschaft ein diverses und facettenreiches Feld ist, auf dem unterschiedliche Forschende Fragestellungen aus verschiedenen Blickwinkeln mit unterschiedlichen Methoden und Fokus auf verschiedenen Aspekten bearbeiten. Denn trotz aller Diversität ist sich die Wissenschaft in einem Kernaspekt einig: Es geht darum, Erkenntnisse zu gewinnen und die Grenzen dessen, was wir verstehen und erklären können, auszuweiten. 

Neue Erkenntnisse mit erfundenen Rädern

Dieser Prozess des Erkenntnisgewinns kann besser oder schlechter ablaufen. Im Optimalfall ist der Prozess unter anderem sowohl selbst korrigierend als auch kumulativ. Zum einen sollen bessere Erklärungsansätze bestehende, weniger passende ablösen. Um diese Entwicklung zu ermöglichen, bauen zum anderen Fragestellungen und Methoden aufeinander auf – anstatt das Rad ständig neu zu erfinden, werden mit den bereits erfundenen Rädern neue Erkenntnisse vorangetrieben. Zugleich können aber Fehlversuche auch als solche erkannt werden, sodass zukünftige Ressourcen nicht weiter in Forschungsvorhaben investiert werden, die sich schon als Sackgassen herausgestellt haben. So bleibt der Forschungsprozess zielgerichtet und ressourceneffizient. 

Dietmar Rabich / Wikimedia Commons / „Seifenblasen — 2020 — 9987“ / CC BY-SA 4.0

Das Aufeinander-Aufbauen von Forschungsvorhaben lässt sich jedoch nur dann erreichen, wenn der Wissenschaftsprozess an sich transparent gestaltet wird.

Wissenschaftlerinnen und Wissenschaftler müssen sich im Detail über den Forschungsgegenstand informieren können, um ihn beforschen zu können. Dies wird durch die Publikation von Forschungsinhalten in offenen Formaten gefördert: etwa Open Access in mehr oder weniger traditionellen Zeitschriften, in Form von (Vorab-)Veröffentlichungen außerhalb solcher Zeitschriften (Preprints) oder als unkonventionelle Beiträge in anderen frei zugänglichen Medien (Blogs, Podcasts, etc.).  Weiter können nur transparent kommunizierte Theorien mit testbaren Hypothesen überprüft, korrigiert und erweitert werden. 

Dafür sind wiederum transparente Tests dieser Hypothesen notwendig, sodass die Theorien entsprechend überarbeitet werden können. Auch hier gilt: Nur transparent verfügbar gemachte Arbeiten lassen sich nachvollziehen, reproduzieren und replizieren. Forschende müssen sich über die Arbeit ihrer Kolleginnen und Kollegen informieren können, um (ggf. empirisch) zu prüfen, ob sie unter denselben Voraussetzungen zu denselben Schlüssen gelangt wären. Denn nur diejenigen Arbeiten können zur Korrektur oder Bestätigung von Theorien herangezogen werden, die durch ihre Nachvollziehbarkeit und Robustheit tatsächlich dazu geeignet sind. Sonst entstünde eine Verzerrung der Theorie, die dadurch ihre Erklärungs- und Aussagekraft einbüßen würde. Außerdem würden weitere Forschungsvorhaben sonst in die falsche Richtung zielen. Wird jedoch der Prozess des Erkenntnisgewinns transparent, lässt er sich überprüfen und ggf. korrigieren. Demnach trägt Transparenz dazu bei, den Wissenschaftsprozess so zu formen, dass kumulative und selbst korrigierende Abläufe umgesetzt werden können. 

Die Offenheit und ihre Grenzen

Zudem können Bemühungen unternommen werden, schon in der Vorbereitung von Forschungsarbeiten den Prozess so zu gestalten, dass möglichst verlässliche Erkenntnisse generiert werden. Dazu sind beispielsweise transparente Publikationsformate wie Registered Reports geeignet, die schon vor Durchführung der ausschlaggebenden Tests zur aufgestellten Theorie unabhängige Expertinnen und Experten im Peer-Review-Verfahren* einschalten. Anders als beim klassischen Peer-Review am Ende der Forschungsarbeit können so methodische Verbesserungen vorgenommen werden, bevor der erkenntnisgebende Prozess durchgeführt wird. Zudem ermöglichen solche Formate auch die Publikationszusage unabhängig von den entstehenden Ergebnissen, sodass Verzerrungen (z. B. zulasten nicht-signifikanter Ergebnisse) in der Forschungsliteratur vermieden werden. Dadurch kann die veröffentlichte Literatur zum passgenaueren Abbild der tatsächlich stattfindenden Forschungstätigkeiten werden. 

Wie transparent muss der Forschungsprozess aber genau sein? Muss jedes finale Ergebnis eines Forschungsabschnitts offengelegt werden oder soll engmaschiger berichtet werden, soll sogar jeder einzelne Gedanke der Beteiligten öffentlich zugänglich gemacht werden? Was bedeuten Nachvollziehbarkeit, Offenheit und Transparenz im Spiegel der unterschiedlichen Disziplinen und Methodenzugänge? Und wo haben sie ihre Grenzen, wenn zum Beispiel Fragen des Datenschutzes, des Urheberrechts, von Konkurrenz unter Forschenden oder praktische Begrenzungen bei der Speicherung, Zugänglichkeit und Nutzung der zur Dokumentation von Forschungsprozessen generierten Datenmengen ins Spiel kommen? Ganz offen und total transparent kann die Wissenschaft wohl nicht sein. 

Dennoch, die Transparenz der Forschungsansätze ist ein zentrales Kriterium für den Ablauf des Wissenschaftsprozesses im Sinne guter wissenschaftlicher Praxis und fördert die Qualität der Forschungsarbeit. Statt massenhaft Literatur ohne Rücksicht auf deren Belastbarkeit zu publizieren, rückt die Frage, ob Erkenntnisse nachvollziehbar sind und ob darauf aufgebaut werden kann, in den Fokus der Forschungstätigkeit. Schließlich ist ein transparenter Wissenschaftsprozess also auch dazu geeignet, die Priorisierung von Forschungsqualität zu ermöglichen. Demnach sollte die wissenschaftliche Arbeit so offen und transparent wie möglich sein. 

*Peer-Review-Verfahren

Eine Peer-Review (englisch von Peer, Gleichrangiger, und Review, Begutachtung, seltener deutsch: Kreuzgutachten) ist ein Verfahren zur Qualitätssicherung einer wissenschaftlichen Arbeit oder eines Projektes durch unabhängige Gutachterinnen und Gutachter aus dem gleichen Fachgebiet.

[Quelle: Wikipedia]

Wikimedia-Salon „Q=Qualität. Ist Offene Wissenschaft die bessere Wissenschaft?“

Weitere Infos:

Rima-Maria Rahal

Rima-Maria Rahal studierte Psychologie in Heidelberg und Amsterdam und promovierte an der Universität Leiden zu kognitiven Grundlagen von Entscheidungen in sozialen und moralischen Dilemmata. Ihre Doktorarbeit schrieb sie zur Erforschung von Gemeinschaftsgütern. Derzeit arbeitet sie an der Tilburg University. Rahal ist Alumna des Fellowships Freies Wissen und erarbeitet einen Onlinekurs zu methodischen Grundlagen wissenschaftlichen Experimentierens unter Einbeziehung offener Forschungspraktiken.

Interview

  • Lydia Pintscher

Von Datenqualität und Wikidata

Ein Interview mit Lydia Pintscher

Was bedeutet für dich „gute Datenqualität“, was bedeutet es für Wikidata?

Gute Datenqualität in Wikidata ist für mich essenziell. Datenqualität in Wikidata hat viele verschiedene Aspekte. Besonders wichtig sind für uns die Aspekte Genauigkeit (Sind die Daten wahr und frei von Fehlern?), Objektivität (Sind die Daten unvoreingenommen?), Reputation (Haben die Daten vertrauenswürdige Referenzen?) und Konsistenz (Sind die Daten konsistent modelliert?). Nur wenn diese Aspekte der Datenqualität gut sind, ist Wikidata in der Lage eine gute Datenquelle für Wikipedia, die anderen Wikimedia Projekte und viele andere Projekte außerhalb von Wikimedia zu sein.

In den letzten Jahren hat Wikidata immer mehr an Bedeutung gewonnen als die Quelle für maschinenlesbare Grundlagendaten (z.B. Hauptstädte, Lebensdaten berühmter Persönlichkeiten, Veröffentlichungsdatum eines Films, etc.) und Beziehungen zwischen wichtigen Konzepten (z.B. „Einhorn ist eine mythische Kreatur“). Viele kleine, mittlere und große Organisationen nutzen Daten aus Wikidata um ihren Nutzern Information und Wissen zu vermitteln und ihre Produkte zu verbessern.Das sicherzustellen ist eine Aufgabe der sich die Editoren auf Wikidata und das Entwicklungsteam bei Wikimedia Deutschland verschrieben haben.

Was unterscheidet Wikidata von anderen Wissensdatenbanken wenn es um Qualität geht?

Im Gegensatz zu anderen Wissensdatenbanken versuchen wir bei Wikidata die Welt mit ihrer Komplexität genauer abzubilden.

In Wikidata ist es zum Beispiel möglich verschiedene Sichtweisen nebeneinander stehen zu haben, natürlich mit Referenzen.

Lydia Pintscher

Dies ermöglicht es verschiedene Seiten eines territorialen Disputs festzuhalten und explizit anzugeben, statt so zu tun als würde es diesen Disput nicht geben und (wie es leider zu oft geschieht) nur eine Seite anzugeben, je nachdem wen man mit den Daten gut stimmen will. Auch ist es möglich in Wikidata überholte, aber weit verbreitete Daten zu speichern und diese also solche zu markieren um zu vermeiden, dass sie weiter als wahr angesehen werden.

Three Species Pollen Grains, Asja Radja, CC BY 4.0

Was macht die Community bzw. Wikimedia, um diese zu verbessern?

Die Editoren auf Wikidata und das Entwicklerteam bei Wikimedia Deutschland arbeiten tagtäglich daran die Qualität der Daten in Wikidata zu sichern und zu verbessern. Das Entwicklerteam konzentriert sich dabei darauf Werkzeuge zu entwickeln, die den Editoren die eigentliche Qualitätsarbeit erleichtern.

Gerade arbeiten wir zum Beispiel am Query Builder. Das ist ein Werkzeug, das es leichter macht Abfragen zu schreiben. Damit wird es einfacher Daten zu finden an denen noch gearbeitet werden muss. Editoren können damit zum Beispiel eine Liste erstellen von Menschen, die angeblich verstorben sind bevor sie geboren wurden oder sich eine Karte aller Städte in Deutschland anzeigen lassen, um dann eventuell Städte zu finden deren Koordinaten fälschlicherweise außerhalb von Deutschland liegen.
Ein anderes Werkzeug, das wir entwickelt haben und das von den Editoren weitläufig genutzt wird, sind die Constraint Checks. Die Editoren können hiermit Regeln anlegen für die Daten in Wikidata. Alle Daten werden dann gegen diese Regeln getestet und eventuell gefundene Regelverletzungen werden den Editoren angezeigt um sie zu beheben oder als Ausnahme zu markieren. So sollten etwa Ehepartner von Menschen auch wieder Menschen sein. (Aber dann ist da die Frau die den Eiffelturm geheiratet hat! 😱) Mithilfe dieser Constraint Checks fallen Unstimmigkeiten in den Daten schnell auf und können so einfacher von den Editoren behoben werden.

Die Qualitätsarbeit in Wikidata ist vor allem so spannend, weil Wikidata ein offenes Projekt ist, in dem jeder mitmachen kann und das sehr flexibel ist. Diese Offenheit ist auf den ersten Blick eine Schwäche. Jeder kann ja kommen und eintragen was er will. Aber gleichzeitig ist es auch eine große Stärke. Jeder kann ja kommen und gute Daten eintragen oder einen Fehler berichtigen.

Die Kunst besteht darin die Offenheit des Projektes zu erhalten und gleichzeitig Fehler und Vandalismus zu vermeiden.

Lydia Pintscher

Die Editoren und mein Team und ich arbeiten jeden Tag daran die besten Lösungen dafür zu finden.

Wie profitiert die Welt außerhalb von Wikidata von besserer Datenqualität?

Die Daten in Wikidata werden natürlich nicht nur zum Selbstzweck gesammelt und gepflegt. Wir alle tun das, um eine gute Datengrundlage für Wikipedia, die anderen Wikimedia Projekte und viele andere Projekte und Organisationen außerhalb von Wikimedia zu schaffen. Da unser Leben mehr und mehr mit Technologie verknüpft ist, ist es wichtig, dass diese Technologie hochqualitative Daten als Grundlage hat. Wenn du heute dem digitalen persönlichen Assistenten auf deinem Handy eine Wissensfrage stellst, ist es nicht unwahrscheinlich, dass die Antwort auf Daten in Wikidata beruht. Es ist wichtig, dass diese Antworten korrekt sind. Und es ist wichtig, dass die Datengrundlage für jeden offen zur Verfügung steht und jeder dazu beitragen kann. Nur so können wir wahre Teilhabe auch in Zukunft sichern.

Was würdest du dir wünschen um die Datenqualität in Wikidata auch langfristig sicherzustellen?

Ich würde mir wünschen, dass viele der Projekte und Organisationen, die Daten von Wikidata in ihren Produkten nutzen, dies auch klar angeben. Dies würde Transparenz für die Nutzer dieser Produkte schaffen und sicherstellen, dass die Nutzer in die Lage versetzt werden, Daten zu ergänzen und etwaige Fehler zu beheben.

Weitere Infos

Lydia Pintscher

Lydia Pintscher ist Produktmanagerin Wikidata bei Wikmedia Deutschland e.V. sowie Vizepräsidentin des KDE e.V. Sie studierte Informatik an der Universität Karlsruhe. Pintscher hat sich um hoch anerkannte Beiträge zur Freien-Software-Gemeinschaft, wie z. B. die Leitung mehrerer großer Mentorenprogramme, verdient gemacht.