Datenqualität in der Forschung: Für die einen Gold, für die anderen Gift

Wenn jemand weiß, was Datenqualität ausmacht, dann Prof. Dr. Carsten Oliver Schmidt. Als Leiter des Funktionsbereichs „Qualität in der Gesundheitsforschung“ der Abteilung „Study of Health in Pomerania – Klinisch-epidemiologische Forschung“ (SHIP-KEF) der Universitätsmedizin Greifswald muss er diese Frage nach der Datenqualität für verschiedene wissenschaftliche Settings immer wieder neu beantworten. Im Interview mit VIEW teilt er seine Kenntnisse und Erfahrungen und verrät, warum es den rundum perfekten Datensatz nicht geben kann.

VIEW: Prof. Schmidt, was machen gute Daten aus?

Carsten Oliver Schmidt: Eine erste Orientierung bietet die ISO 8000 Norm. Hier wird die Qualität von Daten frei übersetzt damit definiert, dass ein Satz inhärenter Merkmale von Daten die Anforderungen erfüllt. Darin ist einer der wichtigsten Punkte für die Datenqualität enthalten: Es geht darum, ob ich die Daten für meinen Zweck nutzen kann. Und je nach Anforderung können die Merkmale, die eine hohe Datenqualität ausmachen, sehr unterschiedlich sein. Geht es zum Beispiel darum, eine diagnostische oder therapeutische Entscheidung zu treffen? Oder sollen die Daten genutzt werden, um Leistungen abzurechnen oder um eine wissenschaftliche Fragestellung zu beantworten? Ein Datensatz kann also hervorragend sein zu Abrechnungszwecken, ansonsten aber nutzlos.

VIEW: Aber gibt es nicht auch Merkmale, die jeder Datensatz, unabhängig von den Anforderungen oder Fragestellungen, erfüllen sollte?

Carsten Oliver Schmidt: Ich kann beschreiben, wie wir auf die Datenqualität schauen. Dazu ziehen wir im Wesentlichen drei Ebenen heran. Erstens die Integrität, also die Frage, ob Daten überhaupt in einer Struktur vorhanden sind, mit der gearbeitet werden kann. In diese Kategorie fällt auch die syntaktische Korrektheit der Daten. Ist die nicht gegeben, kann ich nichts weiter prüfen. Die zweite Ebene ist die Vollständigkeit. Hier gibt es zum Teil noch die Unterscheidung zwischen Vollständigkeit und Vollzähligkeit. Also einmal die Frage, ob Daten für eine Beobachtungseinheit komplett sind und ob die Beobachtungseinheiten an sich vorhanden sind. Auf der dritten Ebene geht es schließlich darum, ob die Daten korrekt sind. Auch hier gliedern wir noch einmal nach Konsistenz, also der Frage, ob formale Anforderungen erfüllt werden, zum Beispiel keine Wertebereichsverletzungen, und nach Accuracy, womit vor allem die messtechnische Richtigkeit gemeint ist. 

Diese grobe Dreiteilung findet sich in den meisten Qualitätsmodellen. Die darunter liegenden Ebenen weichen aber konzeptionell stark voneinander ab. Wir haben einen Konzeptbaum für Beobachtungsstudien mit verschiedenen Ebenen entwickelt, den wir für passend halten. Er hat also keinen Anspruch auf Allgemeingültigkeit.

VIEW: Worauf basiert Ihr Konzeptbaum?

Carsten Oliver Schmidt: Der Konzeptbaum wurde auf mehreren Grundlagen entwickelt. Da sind zum einen Literaturrecherchen zu Datenqualitätskonzepten, die es in unserem Gebiet gibt, eingeflossen. Ein wichtiger Bezugspunkt war zudem die Leitlinie zur Datenqualität in der medizinischen Forschung der TMF. Diese ist vor allem für Register relevant. 
Wir haben diese Leitlinie dann mit Vertretern verschiedener epidemiologischer Kohortenstudien evaluiert, und herausgearbeitet, was besser gemacht werden kann. Ein weiterer Punkt: Unsere Einrichtung ist eine der ganz wenigen, die einen automatisierten Qualitätsberichtserstattungszyklus umsetzt. Das ist ein softwaregestützter Ansatz, mit dem wir die Qualität sehr gut und einfach beleuchten können. Und schließlich haben wir unsere Erfahrungen genutzt, welche Workflows überhaupt eingehalten werden müssen. Denn bei der Analyse von Datenqualität ist es extrem wichtig, auf eine gewisse Abfolge der betrachteten Qualitätsaspekte zu achten. Diese Abfolge ist im Konzeptbaum abgebildet. 

VIEW: Lassen sich aus allen Daten „gute“ Daten machen?

Carsten Oliver Schmidt: Die Datenqualität, die man nachträglich erzeugen kann, hängt davon ab, wo welche Fehler entstehen. Entstehen sie in der Datenproduktion, zum Beispiel beim Blutdruckmessen? Oder entstehen sie bei der Datenverarbeitung, also beim Dokumentieren, Archivieren und Nutzbarmachen? Schlägt die Datenproduktion fehl, sind also die Messwerte falsch, dann ist wenig zu machen. Vor allem bei schweren systemischen Fehlern helfen kein Algorithmus und kein Big Data. Es gilt: Rubbish in Rubbish out. Treten Defizite hingegen bei der Datenverarbeitung auf, können diese oft behoben werden. Ein Beispiel: Histologische Befunde aus der Pathologie bestehen überwiegend aus Freitext – was für die weiterbehandelnden Ärztinnen und Ärzte gut nutzbar ist. Für die Wissenschaft sind Freitexte hingegen Gift. Es braucht bei tausenden von Befunden leicht Monate, um aus den Freitexten vergleichbare Klassifizierungen vorzunehmen. Grundsätzlich ist es aber möglich, durch eine geeignete Aufbereitung bestimmte Aspekte der Datenqualität zu verbessern. 

VIEW: Dann müssten Sie sich über den Vormarsch der strukturierten Befundung ja freuen...

Carsten Oliver Schmidt: Ja, da, wo strukturierte Befundung gut umgesetzt wird, ist das ein Vorteil. Allerdings bleibt dann immer noch die Frage offen, ob die Klassifikationen und Messungen an sich korrekt sind. Und hier kommen wir auch wieder auf die Frage der Anforderungen. In der Klinik habe ich andere Anforderungen an eine Messung als in der Forschung. In der Klinik besteht oft wenig Zeit für Messungen. So etwas wie der Blutdruck muss schnell erfasst werden. In der Forschung haben wir dagegen viel mehr Zeit und Ressourcen, um Werte reproduzierbar zu erheben. Beim Blutdruckmessen zum Beispiel nach einer festgelegten Ruhephase und mit mindestens zwei, besser sogar drei Messungen nacheinander. Das lässt sich in der klinischen Routine so nicht umsetzen.

VIEW: Was würden Sie sich von den klinischen Daten wünschen?

Carsten Oliver Schmidt: Als Wissenschaftler würde ich klinische Daten am liebsten unmittelbar nachnutzbar vorfinden. Aber die Daten in der Klinik werden ja unter der Prämisse anderer Anforderungen erhoben als in der Wissenschaft. Dass sie für die Forschung dann so nicht unbedingt nutzbar sind, ist zunächst kein Problem der Kliniken. Sehr positiv ist, dass sich Initiatien wie die Medizininformatikinitative oder die NFDI4Health derzeit genau dem Thema der leichteren Nachnutzbarkeit von Patienten- und Forschungsdaten widmen und dazu innovative Lösungen schaffen. Wenn ich mir weiterhin etwas wünschen dürfte, dann wäre es auch, dass der Datenschutz praktikabler eingesetzt werden würde und der potenzielle Nutzen für die Allgemeinheit durch die wissenschaftliche Datennutzung höher gewichtet würde. 

VIEW: Vielen Dank für das Gespräch!