Datenqualitätsprobleme und mögliche Lösungsansätze beim Umgang mit historischen Daten

Diese Sammlung bietet einen praxisnahen Einstieg in den Umgang mit strukturierten Daten in der Geschichtsforschung. Sie stellt typische Herausforderungen zusammen, denen man bei der Arbeit mit unterschiedlichen Datentypen begegnet, und zeigt anwendbare Lösungswege auf. Jedes Fallbeispiel – die sogenannte Problem Story – folgt demselben Aufbau:

  1. Eine konkrete Beschreibung des Problems aus dem Forschungsalltag.
  2. Die Zuordnung zum zugrundeliegenden Datenqualitätsproblem.
  3. Ein pragmatischer Lösungsvorschlag, ergänzt um Schlagwörter und weiterführende Links.
Weiterlesen

Die Beispiele stammen aus der Beratungspraxis der NFDI4Memory FAIR Data Fellowships1, den Ergebnissen der Umfrageauswertung „Praktiken, Standards und Bedarfe zur Datenqualität in den Communities der historisch arbeitenden Fächer“2 und den alltäglichen Erfahrungen unserer Arbeitsbereiche. Wo die Beispiele auf realen Projekten basieren, wurden die Geschichten von den Autor*innen umformuliert. Einige Fallbeispiele berühren zudem übergreifende methodische Fragen, wie die Qualitätskontrolle oder das Streben nach Objektivität bei der Datenbereinigung. Diese sind für die gesamte historische Arbeit relevant, jedoch insbesondere für strukturierte Daten.

Das Angebot richtet sich gezielt an Forschende, die in ihrer Arbeit mit strukturierten Daten wie Tabellen zu tun haben, sich aber noch nicht intensiv mit dem Forschungsdatenmanagement auseinandergesetzt haben. Um die Hürden so niedrig wie möglich zu halten, sind die Problemstellungen bewusst konkret gewählt. Die Lösungsvorschläge hingegen sind bewusst allgemein gehalten, damit man sie unabhängig vom eigenen Thema oder Vorwissen direkt nutzen kann.

Uns ist bewusst, dass es für fast jede dieser Situationen auch technisch komplexere Lösungen gibt. Ziel dieser Sammlung ist es jedoch nicht, tiefgehende IT-Expertise zu vermitteln, sondern schnelle „Erste Hilfe“ zu leisten und die Orientierung für die nächsten Schritte zu erleichtern.

  1. NFDI4Memory FAIR Data Fellowships: https://4memory.de/aktivitaeten/fellowships/ (Letzter Zugriff: 2026-07-07).
  2. Pravdyuk, A., Körfer, A.-L., Große, P., Greb, H., Grevelhörster, D., & Meiners, O. (2025). Bericht zur Umfrage „Praktiken, Standards und Bedarfe zur Datenqualität in den Communities der historisch arbeitenden Fächer“. In 4memory Working Paper Series (1-0, Nr. 7). Zenodo. https://doi.org/10.5281/zenodo.17434287

Qualitätskontrolle 1 Datenbereinigung 1 Heterogenität & Inkonsistenz 3 Unsicherheiten 4 Maschinenlesbarkeit 5 Standardisierung & kontrollierte Vokabulare 8 Tools 2 Ethik & Objektivität 2 Datenschutz 1 Schlagwortregister 46

1. Qualitätskontrolle

1.1Qualitätskontrolle

Quality Control First

Wir arbeiten mit einem großen Team an einem Projekt und verwenden oft unterschiedliche Bezeichnungen für dieselben Dinge. Das führt zu Verwirrung und erschwert unsere Arbeit.

Datenqualitätsproblem

fehlende Qualitätskontrolle im Projekt

Lösung ansehen

Je nach Arbeitsumgebung und genutzten Anwendungen sollte das Projektteam möglichst schon zum Projektstart auf kontrollierte Vokabulare zurückgreifen und diese beispielsweise als feste Wertelisten in Tabellen oder Tools für das Projektmanagement hinterlegen. Bei Bedarf kann eine einfache projektinterne Liste für die einheitliche Bezeichnung von einzelnen Arbeitsschritten und -ständen schon hilfreich sein. Spätestens bei der strukturierten Erschließung, Indexierung oder Annotation von Forschungsdaten und Informationsobjekten jeder Art sollte auf kontrollierte Vokabulare zurückgegriffen werden. Um die Datenqualität im Projektverlauf zu sichern, ist es sinnvoll, verbindliche Qualitätskontrollen und entsprechende Prozesse zur Korrektur zu vereinbaren und zu etablieren.

Schlagwörter

QualitätskontrolleZusammenarbeitDokumentation

2. Datenbereinigung

2.1Datenbereinigung

Die Invasion der Dubletten

Mein Datensatz ist nach und nach so groß geworden, dass ich mir sicher bin, dass es darin doppelte Werte gibt. Manchmal habe ich das Gefühl, dass ich bestimmte Daten bereits zuvor in der Tabelle gesehen habe. Es würde unverhältnismäßig viel Zeit in Anspruch nehmen, den Datensatz manuell zu durchsuchen.

Datenqualitätsproblem

Dubletten; Redundanz

Lösung ansehen

Bei der Suche nach fehlenden oder doppelten Werten in großen Datensätzen kann das Open-Source-Tool OpenRefine helfen, mit dem sich Daten z. B. in CSV- oder XLS-Dateien bereinigen, konvertieren oder anreichern lassen. Mithilfe der „Facetten“ (Filterfunktionen) in OpenRefine lassen sich leere Felder mit wenigen Klicks isolieren und auch direkt befüllen. OpenRefine ist relativ unkompliziert und lässt sich leicht selbst erlernen. Schulungen dazu finden Sie unter den weiterführenden Links.

Schlagwörter

EinzigartigkeitDuplikateOpenRefine

Weiterführende Links

3. Heterogenität & Inkonsistenz

3.1Heterogenität & Inkonsistenz

Gleiche Kategorie, verschiedene Schreibweisen

Strukturierte Datensätze aus verschiedenen Quellen oder Erhebungsphasen können beim Zusammenführen inhaltliche Inkonsistenzen mit sich bringen. So können in einem Datensatz unterschiedliche Bezeichnungen in einem Feld erscheinen, z. B. für männlich „m“ oder „männlich“. Dadurch werden u. a. Kategorien mehrfach gezählt oder Filter ergeben unvollständige bzw. ungenaue Treffermengen.

Datenqualitätsproblem

Heterogenität; Inkonsistenz

Lösung ansehen

Vor der Zusammenführung von Datensätzen sollten alle Schreibweisen und Abkürzungen, die in den Datensätzen vorkommen, gesammelt und in einer Mapping-Tabelle festgehalten werden. Diese Tabelle dient als einfache Übersicht, die dokumentiert, welche Varianten für einen Begriff, ein Konzept oder eine Bezeichnung als gleichwertig behandelt werden. Jede Entscheidung zur Vereinheitlichung, d. h. welche Varianten zusammengeführt wurden und warum, wird schriftlich festgehalten und dem Datensatz beigefügt, sodass Dritte diese Entscheidungen nachvollziehen können. Nach der Zusammenführung und entsprechenden Bereinigung sollte der Datensatz systematisch auf verbleibende Inkonsistenzen geprüft werden, etwa durch Durchsicht aller einzigartigen Werte in einem Feld. Am besten wird entsprechenden Inkonsistenzen jedoch bereits zu Projektbeginn vorgebeugt, beispielsweise durch die Anlage fester Werte- und Bezeichnungslisten in Tabellen und projekteigenen kontrollierten Vokabularen.

Schlagwörter

HomogenitätKonsistenz

3.2Heterogenität & Inkonsistenz

Heterogene Quellen, begrenzte Automatisierung

Die Erstellung und Aufbereitung eines Datensatzes wurde durch die strukturelle Heterogenität der historischen Quellen erschwert: Inkonsistente Schreibweisen, Beschädigungen sowie Mehrsprachigkeit innerhalb einzelner Dokumente begrenzten den Einsatz automatisierter Verarbeitungsverfahren.

Datenqualitätsproblem

Heterogenität; Inkonsistenz

Lösung ansehen

Wenn eine Vereinheitlichung unerlässlich ist, wird sie transparent gegen die Bewahrung des historischen Charakters abgewogen. Das Minimaleingriffsprinzip, d. h. die Durchführung möglichst weniger Korrekturen an der Originalschreibweise, sichert die Nachnutzbarkeit des Datensatzes auch für Fragestellungen jenseits der ursprünglichen Erschließungsabsicht. Welche Eingriffe als „minimal“ gelten, wird explizit dokumentiert und begründet. Nicht auflösbare Inkonsistenzen, wie z. B. beschädigter Text, unleserliche Passagen oder uneindeutige Sprachwechsel, werden als solche gekennzeichnet.

Schlagwörter

HomogenitätKonsistenz

Weiterführende Links

3.3Heterogenität & Inkonsistenz

Kategorien ohne klare Kriterien

Bei Forschungsdatenbanken können unklare Benennungen und Kriterien zur Befüllung der Datenbank eine Herausforderung sein. Kategorien können zu abstrakt oder nicht eindeutig definiert und Grenzfälle zwischen Kategorien nicht geregelt sein.

weiterlesen

Eingaberichtlinien sind nicht vorhanden oder zu ungenau, sodass Bearbeitende sie unterschiedlich interpretieren. Kriterien wurden im Laufe eines Projektes verändert, doch bestehende Einträge wurden nicht rückwirkend angepasst.

Datenqualitätsproblem

Dateninkonsistenz; Datenheterogenität; mangelnde Standardisierung; mangelnde Rückverfolgbarkeit

Lösung ansehen

Eine gängige Lösung bietet eine lebendige Datendokumentation, die aktiv gepflegt und im Team geteilt wird. Dazu gehören klare Eingaberichtlinien, die für jedes Feld exakt definieren, welche Inhalte einzutragen sind, wie Grenzfälle behandelt werden und wie sich einzelne Kategorien voneinander abgrenzen. Besonders komplizierte Fälle sollen im Team diskutiert werden. Ändern sich Kriterien im Projektverlauf, sorgt eine fortlaufende Änderungsdokumentation für die nötige Nachvollziehbarkeit. Abgerundet wird das Konzept durch regelmäßige Schulungen und ein strukturiertes Onboarding: So ist sichergestellt, dass alle Beteiligten – auch neue Teammitglieder – die Richtlinien kennen und einheitlich umsetzen.

Schlagwörter

KonsistenzHomogenitätStandardisierungRückverfolgbarkeitDokumentationDatenbank

4. Unsicherheiten

4.1Unsicherheiten

Wie man mit Ungenauigkeiten und Unsicherheiten umgeht

Einige Informationen in den Quellen sind schwer lesbar, dennoch erscheint es wichtig, sie in einem strukturierten Datensatz anzugeben. Wie sollte man in einem solchen Fall vorgehen?

Datenqualitätsproblem

Ungenauigkeiten; Unschärfe; Unvollständigkeit

Lösung ansehen

Falls die Daten nicht eindeutig aus der Quelle ausgelesen werden können, kann ein Kennzeichen eingefügt werden, das auf die Ungenauigkeit der Daten hinweist (z. B. „?“ oder „uncertain“). Die Bedeutung dieses Kennzeichens muss in der Dokumentation zum Datensatz erläutert werden.

Schlagwörter

GenauigkeitVollständigkeit

Weiterführende Links

4.2Unsicherheiten

Fehler richtig hervorheben

Die Daten, auf denen mein Datensatz basiert, wurden aus einer handschriftlichen Quelle transkribiert. Manchmal lassen sich die Informationen nicht entziffern, manchmal sind sie schwer zu interpretieren oder nicht eindeutig genug. Daher können die Werte in den jeweiligen Feldern nicht als fehlend markiert werden. Sie sind vorhanden, aber nicht vollständig.

Datenqualitätsproblem

Ungenauigkeiten; Unschärfe; Unvollständigkeit

Lösung ansehen

Informationen in handschriftlichen Quellen, die aufgrund von Beschädigungen, Auslassungen oder Schriftbild nur unsicher oder gar nicht aufgelöst werden können, sollten im Transkript bzw. Datensatz gekennzeichnet werden. Eine Kennzeichnung kann durch runde oder eckige Klammern erfolgen, in denen Ergänzungen stehen können. Sind Ergänzungen nicht möglich, werden dafür Punkte eingesetzt. Je nach verwendeter Richtlinie ein Punkt pro vermutetem Buchstaben oder generell drei Punkte […]. Um einen Überblick über gängige Wiedergabeformen und editorische Praktiken für eine bestimmte Quellenart zu bekommen, können auch die jeweiligen Richtlinien verfügbarer Editionen hilfreich sein.

Ergänzungen sollten immer durch Anmerkungen erläutert werden. Außerdem sollte dem Datensatz eine Dokumentation beigegeben sein, in der die verwendete Transkriptionsrichtlinie und die Zeichen erläutert werden.

Schlagwörter

GenauigkeitVollständigkeit

Weiterführende Links

4.3Unsicherheiten

Eine Person, viele Schreibweisen

Beim Auswerten von Hamburger Quellen des 18. und 19. Jahrhunderts, u. a. Hafenregistern und Matrosenlisten, nehme ich Personen in einem strukturierten Datensatz auf. Mein Problem ist vor allem der Umgang mit Schreibweisen von Namen für Personen aus dem nicht-europäischen Raum (bspw. bei der Dokumentation von Personen aus dem südasiatischen Raum).

Datenqualitätsproblem

Unschärfe; Heterogenität; Inkonsistenz; Mehrsprachigkeit

Lösung ansehen

Die Schreibweisen der Personennamen können nach den entsprechend geltenden Transliterations- bzw. Transkriptionsregeln aufgelöst und unter Umständen angepasst werden. Allerdings sollten diese Eingriffe dokumentiert werden. Zusätzlich können in einer eigenen Spalte alternative Schreibweisen und frühere Namen (z. B. bei Namensänderungen durch Taufen) erfasst werden. Außerdem sind biografische Notizen zu jedem Eintrag hilfreich, die den Nutzenden erläutern, auf welcher Quellenbasis der Name erfasst wurde und welche Unsicherheiten bestehen.

Schlagwörter

GenauigkeitKonsistenzEinheitlichkeitDokumentationNamenTransliterationTranskription

Weiterführende Links

  • Beispiel aus der Praxis: Bärwald, A. (2026). Menschen afrikanischer, asiatischer sowie indigen- und afrikanisch-amerikanischer Herkunft im Hamburger Raum, 1760 bis 1840 (Version 4) [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.18381462.
  • Bärwald, A. (2024). Minderheitengeschichten digital: Über den Versuch, prosopografische Daten zu nicht-weißen Menschen im Hamburger Raum aufzubereiten. DH Lab. https://dhlab.hypotheses.org/5756.
4.4Unsicherheiten

Wenn man es mal nicht genau weiß

Manchmal liefern historische Quellen keine eindeutige Antwort auf die Frage nach dem gesellschaftlichen Status einer Person in kolonialen Kontexten, wie bspw. ob sie versklavt war, nicht versklavt war oder ihren Status im Laufe ihres Lebens verändert hat. Solche Unsicherheiten entstehen durch lückenhafte, widersprüchliche oder interpretationsbedürftige Angaben in den Quellen.

Datenqualitätsproblem

Unschärfe; Ungenauigkeiten; mangelnde Strukturierung

Lösung ansehen

Grundsätzlich ist es wichtig, Unsicherheiten – z. B. bei Fragen des Standes oder der konfessionellen Zugehörigkeit – im Datensatz (z. B. einer Tabelle) nachvollziehbar zu machen: So könnten im genannten Beispiel in einer zusätzlichen Spalte alle Entwicklungsvarianten aufgeführt und so die Ambivalenz mit den Optionen „versklavt“, „nicht versklavt“, „unbekannt“, „wahrscheinlich“ und „vormals versklavt“ abgebildet werden. Je nach Quellenlage werden Aussagen z. B. über den Personenstand aus dem Kontext abgeleitet (wie dem Wohnort oder dem Eigennamen). Da es sich hier um einen interpretativen Schritt handelt, sollte das unbedingt in der Datendokumentation deutlich gemacht werden.

Schlagwörter

GenauigkeitStrukturierungstrukturierte Daten

Weiterführende Links

  • Beispiel aus der Praxis: Bärwald, A. (2026). Menschen afrikanischer, asiatischer sowie indigen- und afrikanisch-amerikanischer Herkunft im Hamburger Raum, 1760 bis 1840 (Version 4) [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.18381462.
  • Bärwald, A. (2024). Minderheitengeschichten digital: Über den Versuch, prosopografische Daten zu nicht-weißen Menschen im Hamburger Raum aufzubereiten. DH Lab. https://dhlab.hypotheses.org/5756.

5. Maschinenlesbarkeit

5.1Maschinenlesbarkeit

Leer heißt nicht falsch

Im Laufe der Arbeit wurde ein umfangreicher Bestand an strukturierten Daten zusammengestellt. Jetzt liegt eine Tabelle mit strukturell unterteilten Einheiten vor. Da bestimmte Informationen nicht gefunden werden konnten, blieben einige Felder leer. Was kann ich tun? Sind Leerstellen in Ordnung?

Datenqualitätsproblem

Maschinenlesbarkeit; Interoperabilität; leere Felder

Lösung ansehen

Wenn Informationen unauffindbar sind und dadurch Felder leer bleiben, sollten diese mit einem speziellen Zeichen befüllt werden (z. B. „N/A“, „unknown“, „missing“ oder einem einfachen Punkt „.“). Das ist u. a. wichtig für die maschinelle Datenverarbeitung: So können Tools zur Weiterverarbeitung der Daten erkennen, dass Daten bewusst fehlen und nicht versehentlich vergessen wurden.

Schlagwörter

MaschinenlesbarkeitInteroperabilitätleere Felder

5.2Maschinenlesbarkeit

Auf der Suche nach Eindeutigkeit

In meinem Datensatz gibt es viele Spalten, in denen Ja/Nein-Fragen erfasst werden müssen: z. B. Ist es ein Grabmal für die ganze Familie? Wie sollte eine Antwort auf diese Frage in der Tabelle gekennzeichnet werden?

Datenqualitätsproblem

maschinelle Unlesbarkeit; fehlende Interoperabilität

Lösung ansehen

Solche Werte werden als Boolesche Werte bezeichnet. Bei ihnen ist es ratsam, im gesamten Datensatz eindeutige und einheitliche Bezeichnungen zu verwenden, damit sie später bei der maschinellen Datenverarbeitung berücksichtigt werden können (z. B. JA/NEIN, TRUE/FALSE).

Schlagwörter

MaschinenlesbarkeitInteroperabilitätBoolesche Werte

Weiterführende Links

  • Beispiel aus der Praxis: Jarošová, E., Körfer, A.-L., & Pravdyuk, A. (2026). Database of Prague Funerary Monuments 1500-1650 (Version 1) [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.18519018.
5.3Maschinenlesbarkeit

Wie spricht man „Maschinisch“

In den Titeln von Zeitschriften wird zur Angabe der Ausgabenummer das Symbol „#“ verwendet. Kann man es unverändert lassen oder sollte man es durch eine Buchstabenbezeichnung ersetzen?

Datenqualitätsproblem

maschinelle Unlesbarkeit; mangelnde Interoperabilität

Lösung ansehen

Auf die Verwendung spezieller Zeichen sollte man möglichst verzichten, da sie das maschinelle Auslesen und Verarbeiten der Daten erschweren können. Es empfiehlt sich, sie durch eine Alternative zu ersetzen. Zum Beispiel:

Titel „AmigaCS #1“ wird zu „AmigaCS No. 1“.

Schlagwörter

MaschinenlesbarkeitInteroperabilität

Weiterführende Links

5.4Maschinenlesbarkeit

Wenn eine Trennung für alle das Beste ist

Nachdem ich alle Daten in einem Datensatz zusammengefasst hatte, ist mir aufgefallen, dass ich oft unterschiedliche Datumsangaben in ein und dasselbe Feld erfasst habe – z. B. wurden in einem Feld das Sterbedatum und das Datum der Aufstellung des Grabmals angegeben. Ich bin mir nicht sicher, ob diese Lösung gut bzw. richtig ist. Wie kann ich das am besten ändern?

Datenqualitätsproblem

mangelnde Strukturierung; mangelnde Interoperabilität; maschinelle Unlesbarkeit

Lösung ansehen

Unterschiedliche Informationen (z. B. Sterbedatum und Datum der Aufstellung des Grabsteins) gehören in separate Spalten. Als Faustregel gilt: Höhere Struktur bedeutet bessere Daten. Das steigert die maschinelle Lesbarkeit, sichert eine reibungslose Verarbeitung und ermöglicht ein präzises Filtern der Daten.

Schlagwörter

Strukturierungstrukturierte DatenInteroperabilitätMaschinenlesbarkeit

Weiterführende Links

  • Beispiel aus der Praxis: Jarošová, E., Körfer, A.-L., & Pravdyuk, A. (2026). Database of Prague Funerary Monuments 1500-1650 (Version 1) [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.18519018.
5.5Maschinenlesbarkeit

Wenn die Daten nicht getrennt werden können

Soweit ich weiß, ist es bei der Erstellung eines Datensatzes äußerst ratsam, die Informationen so detailliert wie möglich auf einzelne Spalten aufzuteilen. Es gibt jedoch Ausnahmen, in denen dies nicht möglich ist. Was ist in einem solchen Fall zu tun?

Datenqualitätsproblem

maschinelle Unlesbarkeit; mangelnde Interoperabilität

Lösung ansehen

Wenn Werte sich separieren lassen, dann sollten sie auch separat erfasst werden. Ist dies jedoch nicht möglich, dann empfiehlt es sich, die Werte voneinander mit einem Semikolon („;“) zu trennen, um das maschinelle Lesen und Verarbeiten der Daten zu vereinfachen. Ein Beispiel hierfür ist, dass eine Zeitschrift von mehreren Personen redigiert wurde, für diese Daten jedoch nur eine Spalte („editor“) vorgesehen ist: „Pouet; Elysium; Sunga“.

Schlagwörter

MaschinenlesbarkeitStrukturierungstrukturierte DatenInteroperabilität

Weiterführende Links

6. Standardisierung & kontrollierte Vokabulare

6.1Standardisierung & kontrollierte Vokabulare

Viele Namen, doch nur eine Person

Bei der Arbeit mit dem Datensatz wurden zahlreiche Namen von Kulturschaffenden erfasst. Allerdings gibt es für die Schreibweise dieser Namen viele verschiedene Varianten. Wie können die Schreibweisen vereinheitlicht werden, um eine bessere Nachnutzung des Datensatzes zu erleichtern?

Datenqualitätsproblem

mangelnde Standardisierung; mangelnde Auffindbarkeit; mangelnde Interoperabilität; Inkonsistenz; Heterogenität

Lösung ansehen

Um Personennamen zu vereinheitlichen, können Normdaten wie die GND oder VIAF herangezogen werden. Dadurch wird die Auffindbarkeit einer Person trotz unterschiedlicher Schreibweise im Datensatz erheblich erhöht. Zusätzlich zur in der Normdatei angegebenen Schreibweise des Namens (Hauptansetzungsform) sollten der entsprechende Identifikator (GND- oder VIAF-ID) und der Permalink angegeben werden. Falls es für die Person keinen Eintrag in einer Normdatei geben sollte, dann sollten die Namen nach einem Transliterationsstandard übertragen werden.

Schlagwörter

StandardisierungAuffindbarkeitInteroperabilitätKonsistenzHomogenitätNamenVIAFGNDNormdateienkontrollierte Vokabulare

Weiterführende Links

6.2Standardisierung & kontrollierte Vokabulare

Datumsangaben richtig schreiben

Mein Datensatz enthält viele Datumsangaben. Es gibt zahlreiche Möglichkeiten, diese zu schreiben. Wie lässt sich die Schreibweise vereinheitlichen?

Datenqualitätsproblem

Inkonsistenz; mangelnde Standardisierung

Lösung ansehen

Zur Vereinheitlichung der Datumsschreibweise empfiehlt es sich, sich an den Standard ISO 8601 zu halten. Dieser hilft dabei, die Schreibweise von Daten zu vereinheitlichen, bei denen der Monat und/oder der Tag bekannt sind. Zusätzlich können auch Zeiträume sowie ungenaue oder unsichere Datumsangaben mithilfe der Norm und ihrer Erweiterungen standardbasiert angegeben werden.

Datum: YYYY-MM-DD (z. B. 2026-03-20)

Jahr/Monat: YYYY-MM (z. B. 2026-03)

Schlagwörter

KonsistenzDateneingabeStandardisierung

Weiterführende Links

6.3Standardisierung & kontrollierte Vokabulare

Standort gesucht

In meinem Datensatz arbeite ich viel mit geografischen Standorten. Gibt es eine Möglichkeit, diese zu vereinheitlichen und ihre Auffindbarkeit zu verbessern?

weiterlesen

Ich erfasse aktuell einen gelehrten Briefwechsel des 18. Jahrhunderts und halte zunächst die wichtigsten Informationen zu jedem Brief in einer Tabelle fest. Dazu gehören auch die Angaben zu den Standorten der jeweiligen Korrespondent*innen. Wie gehe ich hier am besten vor? Soll ich die historischen Ortsnamen übernehmen, wie sie im Original angegeben sind – oder lieber nur die heutigen Ortsnamen (Endonym), damit eine einfachere Zuordnung stattfinden kann? Wie kann ich sicherstellen, dass meine Daten hier anschlussfähig sind? Wie stelle ich sicher, dass Angaben zu Orten, deren Namen in einer Region oder einem Land mehr als einmal vorkommen, korrekt zugeordnet werden?

Datenqualitätsproblem

fehlende Auffindbarkeit; fehlende Interoperabilität; Inkonsistenz; Heterogenität

Lösung ansehen

Die Lösung dieses Problems basiert auf vielfältigen unterschiedlichen Gazetteers und Ortsverzeichnissen, die alle ihre eigenen Stärken und Schwächen haben. Allgemein (international) anerkannt sind GeoNames und Wikidata. Bzgl. der Abdeckung von IDs zu Orten und wenn es um die reine Identifizierung via ID geht, hat das Geschichtliche Orts-Verzeichnis (GOV) die bei Weitem höchste Datenqualität insbesondere bei einigen bei spezifischen geografischen Schwerpunkten.

Schlagwörter

AuffindbarkeitInteroperabilitätKonsistenzHomogenitätOrteKoordinaten

Weiterführende Links

6.4Standardisierung & kontrollierte Vokabulare

Einen Punkt auf der Karte finden

Für meine Forschung habe ich Quellen nach Veranstaltungsorten ausgewertet, die aber nicht mehr unter der jeweiligen Adresse zu finden sind. Wie kann ich die Informationen sinnvoll nachnutzbar machen?

Datenqualitätsproblem

mangelnde Auffindbarkeit

Lösung ansehen

Um die historischen Veranstaltungsorte zurückverfolgen zu können, sollten neben der zur Erhebungszeit aktuellen Adresse des Veranstaltungsortes auch die geografischen Koordinaten (Breiten- und Längengrad) aufgenommen werden. Verbreitet und dazu allgemein empfohlen ist das World Geodetic System 1984 (WGS 84).

Schlagwörter

AuffindbarkeitOrteKoordinaten

Weiterführende Links

6.5Standardisierung & kontrollierte Vokabulare

Vage Datumsangaben

Eine zentrale Herausforderung bei der strukturierten Datenerfassung war die Unschärfe der Quellendatierungen. Während die maschinelle Auswertung exakte numerische Angaben verlangt, bieten die Metadaten der Quellen oft nur vage Bezeichnungen wie „ca.“, „um“ oder grobe Epochen („Mittelalter“).

weiterlesen

Um diese Daten nutzbar zu machen, müssen unpräzise Angaben (z. B. „1. Hälfte des 16. Jahrhunderts“) systematisch in Zahlenwerte übersetzt werden. Welche etablierten Vorgaben und Best Practices gibt es für diese Transformation?

Datenqualitätsproblem

Ungenauigkeit; Unschärfe; mangelnde Interoperabilität; mangelnde Standardisierung; maschinelle Unlesbarkeit

Lösung ansehen

Das Extended Date/Time Format (EDTF) Standard (integriert in ISO 8601-2) wurde entwickelt, um Unschärfen in der Datierung strukturiert darzustellen, sodass Maschinen sie verstehen. Auch auf das Regelwerk des Marburger Informations-, Dokumentations- und Administrations-Systems (MIDAS) kann für eine maschinenlesbare Erfassung historischer Zeiträume und Unschärfen zurückgegriffen werden. Die sogenannte „Granularität“ und das Regelwerk, nach dem vage Angaben aufgelöst werden, sollten immer dokumentiert werden, damit der Datensatz nachgenutzt werden kann.

Schlagwörter

GenauigkeitInteroperabilitätStandardisierungMaschinenlesbarkeitMIDAS

Weiterführende Links

6.6Standardisierung & kontrollierte Vokabulare

Nach Babylon – aber richtig

In meinem Datensatz müssen Angaben zu Sprachen gemacht werden. Sie sind jedoch in unterschiedlichen Formaten und Sprachen angegeben. Sicherlich gibt es dafür auch eine Standardisierung? Welche Standards kann man verwenden, woran sollte man sich am besten orientieren?

Datenqualitätsproblem

Inkonsistenz; Heterogenität; mangelnde Standardisierung

Lösung ansehen

Ja, diese Werte sollten standardisiert erfasst werden. Als Orientierung kann die ISO-Norm 639:2023 für die Sprachangaben dienen.

Schlagwörter

KonsistenzHomogenitätDateneingabeStandardisierungSprachen

Weiterführende Links

6.7Standardisierung & kontrollierte Vokabulare

In der Übersetzung nicht verloren gehen

Im Projekt arbeite ich viel mit Namen aus Osteuropa, die in kyrillischer Schrift geschrieben sind. Kann man sie in dieser Form im Datensatz belassen?

Datenqualitätsproblem

Inkonsistenz; Heterogenität; maschinelle Unlesbarkeit

Lösung ansehen

Um die maschinelle Lesbarkeit der Daten zu verbessern und den Datensatz zu vereinheitlichen, sollten alle Daten in einheitlichen Schriftzeichen dargestellt werden. Die Transliteration der Daten erfolgt am besten gemäß einem internationalen Standard, in diesem Fall der Norm ISO 9:1995, die eine sprachunabhängige, zeichengenaue und damit auch reversible Umschrift ermöglicht. Aussprachebasierte Transkriptionen, beispielsweise gemäß den Duden-Konventionen, sollten im Fall strukturierter Daten vermieden werden. Die Daten in der Originalsprache können in einer separaten Spalte belassen werden.

Schlagwörter

KonsistenzHomogenitätTransliterationStandardisierungMaschinenlesbarkeit

Weiterführende Links

6.8Standardisierung & kontrollierte Vokabulare

Auf der Suche nach Normen

Im Laufe der Projektarbeit wurden zahlreiche Daten gesammelt, diese sind jedoch nicht normiert. Das heißt, sie wurden nicht mit entsprechenden kontrollierten Vokabularen und Normdaten abgeglichen. Wo kann man sich näher mit dem Thema befassen und ein passendes Vokabular auswählen?

Datenqualitätsproblem

mangelnde Auffindbarkeit; mangelnde Interoperabilität; Inkonsistenz; Heterogenität; mangelnde Standardisierung

Lösung ansehen

Passende Vokabulare und Thesauri findet man in verschiedenen Registern wie z. B. R:hovono und BARTOC. Die von der Deutschen Nationalbibliothek kuratierte Gemeinsame Normdatei (GND) ist für Personen, Körperschaften und Schlagworte die am häufigsten verwendete Normdatei in Deutschland. Um die eigenen Daten mit Normdaten und Vokabularen abzugleichen und anzureichern, empfiehlt es sich, eine Software wie OpenRefine zu verwenden, die einen automatisierten Abgleich und Korrekturen der Daten ermöglicht.

Schlagwörter

AuffindbarkeitInteroperabilitätKonsistenzHomogenitätStandardisierungNormdateienkontrollierte Vokabulare

Weiterführende Links

7. Tools

7.1Tools

Notizenchaos

Im Laufe meiner Arbeit habe ich versucht, die Auszüge aus zahlreichen Quellen für meine Forschung zu strukturieren. Ich bin auf der Suche nach einem Tool, mit dem ich meine Informationen besser strukturieren kann.

Datenqualitätsproblem

falsches Tool; mangelnde Strukturierung

Lösung ansehen

Aus Quellen extrahierte Datenwerte (z. B. zu Personen, historischen Ereignissen etc.) lassen sich beispielsweise in Tabellenform organisieren. Je nach gewählter Datenstruktur lassen sich diese Tabellen später ggf. sogar in Anwendungen importieren. Für die Arbeit mit Tabellen kann man auf folgende Programme zurückgreifen: LibreOffice Calc, Microsoft Excel. Für die Bereinigung und Umwandlung vorhandener Daten eignet sich OpenRefine.

Schlagwörter

Strukturierungstrukturierte DatenTabellenSoftwareTools

Weiterführende Links

7.2Tools

Aus der Quelle in die Tabelle

In meinem Projekt möchte ich Informationen aus verschiedenen Quellen in Form von strukturierten Daten aufbereiten. Es ist jedoch sehr aufwändig, die Daten manuell aus den Quellen zu übertragen, und würde viel Zeit in Anspruch nehmen. Gibt es Möglichkeiten, meine Quellen in ein digitales Format zu übertragen und den Text daraus zu extrahieren, um die weitere Bearbeitung zu vereinfachen?

Datenqualitätsproblem

mangelnde Texterkennung

Lösung ansehen

OCR (Optical Character Recognition) bzw. ATR (Automatic Text Recognition) sind Verfahren, die gedruckte und handschriftliche Texte in digitalen Bildern automatisch erkennen und in maschinenlesbaren Text umwandeln.

Auch KI-gestützte Tools beherrschen inzwischen Texterkennung, die vor allem bei gedruckten Texten sehr gute Ergebnisse liefert. Als datenschutzkonformes Angebot wäre z. B. Mistral OCR zu nennen. Über entsprechende Prompts ist auch ein Output in strukturierte Dateiformate (XML, JSON) möglich. KI-Tools sind in der Regel für die meisten Nutzenden zugänglicher als Fachtools.

Transkribus (eingeschränkt kostenfrei nutzbar) ist spezialisiert auf historische Handschriften (Handwritten Text Recognition, HTR) und nutzt dafür mittlerweile KI-gestützte Verfahren.

Open-Source-Tools wie eScriptorium und OCR4all sind komplizierter in der Installation und Anwendung, benötigen zudem vertiefte technische Kenntnisse sowie eigene Hardware für den lokalen Betrieb.

Insbesondere bei historischen Handschriften können Ergebnisse sehr stark variieren. Eine Nachbearbeitung und Überprüfung der Daten bleibt notwendig, bzw. Modelle müssen für die jeweiligen Schriften und Dokumente (nach)trainiert werden.

Schlagwörter

Maschinenlesbarkeitunstrukturierte Datenstrukturierte DatenTabellenOCR/ATR

Weiterführende Links

8. Ethik & Objektivität

8.1Ethik & Objektivität

Ethische Herausforderungen bei Begriffen und Fremdzuschreibungen

Bei der Erstellung eines Datensatzes auf Grundlage historischer Quellen wurden die darin vorkommenden Personen mit Begriffen bezeichnet, die nicht den heutigen Vorstellungen von ethisch korrekter Sprache entsprechen.

weiterlesen

Zum Beispiel habe eine als „Mohrin“ bezeichnete Frau im Gebärhaus entbunden – eine Zuschreibung, die dies für den Arzt berichtenswert machte. Dürfen solche Begriffe und Fremdzuschreibungen noch verwendet werden? Wenn ja, wie sollten sie gekennzeichnet werden?

Datenqualitätsproblem

ethische Herausforderungen

Lösung ansehen

Datenethische Überlegungen gewinnen in der Forschungspraxis zunehmend an Bedeutung. Für den Umgang mit diskriminierenden Begriffen in Quellen oder Thesauri existieren verschiedene methodische Ansätze. Die Reflexion über eine möglichst neutrale Sprache sowie die bewusste Wahl einer Methode zur Handhabung sensibler Begrifflichkeiten sind feste Bestandteile der guten wissenschaftlichen Praxis. Im konkreten Fall wurde entschieden, historische Bezeichnungen im publizierten Datensatz beizubehalten, diese jedoch in eine separate Spalte („rassifizierende Bezeichnung“) auszulagern. Dieses Vorgehen sichert die Quellenkritik und Nachvollziehbarkeit, verhindert jedoch eine unkritische Reproduktion der Quellensprache, da der analytische Fokus der Untersuchung auf anderen Kategorien liegt.

Schlagwörter

ethische HerausforderungenFremdzuschreibungenDokumentation

Weiterführende Links

  • Beispiel aus der Praxis: Bärwald, A. (2026). Menschen afrikanischer, asiatischer sowie indigen- und afrikanisch-amerikanischer Herkunft im Hamburger Raum, 1760 bis 1840 (Version 4) [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.18381462.
  • Bärwald, A. (2024). Minderheitengeschichten digital: Über den Versuch, prosopografische Daten zu nicht-weißen Menschen im Hamburger Raum aufzubereiten. DH Lab. https://dhlab.hypotheses.org/5756.
  • Chlesberg, G., Pravdyuk, A., Körfer, A.-L., & Kliewer, M. (2025). Große Anforderungen an kleine Textfelder. In 4memory Working Paper Series (Version 1-0, Nr. 10). Zenodo. https://doi.org/10.5281/zenodo.17829167.
  • Mähr, M., & Schnegg, N. (2025). Handbuch zur Erstellung diskriminierungsfreier Metadaten für historische Quellen und Forschungsdaten (Version 1.0.1). Zenodo. https://doi.org/10.5281/zenodo.17073511.
8.2Ethik & Objektivität

Bereinigen ist nie neutral

Mir ist bei der Aufbereitung meiner Forschungsdaten aufgefallen, dass wir oft so tun, als würden wir die Daten nur „bereinigen“ oder „strukturieren“. In Wahrheit stellt dieser Prozess einen kontextgebundenen und subjektiven Eingriff dar. So entscheide ich beim Mapping, welche Begriffe ich bestimmten Oberkategorien zuordne.

weiterlesen

Beim Annotieren einer Quelle lege ich fest, was für meine Forschungsfrage relevant ist und was nicht. Jede dieser Entscheidungen ist eine Interpretation bzw. eine Wahl, wessen Perspektive als Standard gilt und welche Konzepte im Rauschen verschwinden.

Datenqualitätsproblem

Intransparenz; Subjektivität; mangelnde Rückverfolgbarkeit; mangelnde Standardisierung

Lösung ansehen

Da auch die Aufbereitung von Forschungsdaten und die mit ihr verbundenen Entscheidungswege nicht objektiv erfolgen, sondern von der Person der oder des Forschenden und dem jeweiligen Forschungsdesign abhängig sind, liegt die Lösung hier in Transparenz. Entscheidungen werden so dokumentiert, dass sie für Dritte nachvollziehbar sind: mit Begründung, mit Verweis auf verwendete Standards oder Referenzwerke und hinterlegt an einem zugänglichen Ort, der eine spätere Einsichtnahme ermöglicht.

Schlagwörter

TransparenzObjektivitätRückverfolgbarkeitStandardisierungDokumentationMapping

9. Datenschutz

9.1Datenschutz

Im Hinblick auf den Datenschutz

Auf der Grundlage meiner im Rahmen von Interviews gesammelten Daten habe ich einen Datensatz erstellt, den ich gerne veröffentlichen würde. Da ich jedoch erst seit kurzem im Bereich der Oral History tätig bin, bin ich mir nicht sicher, wie ich personenbezogene Daten darstellen soll bzw. publizieren darf.

Datenqualitätsproblem

fehlender Datenschutz

Lösung ansehen

Datensätze, die personenbezogene Daten enthalten, können in der Regel nicht ohne weiteres publiziert werden. Informationen, die eine Person identifizieren könnten, müssen anonymisiert oder pseudonymisiert werden. Zur Anonymisierung und Pseudonymisierung gibt es verschiedene Leitfäden und Handreichungen. Als Beispiel könnte die Handreichung des Dienstes „Qualiservice“ dienen. Dieser Leitfaden dient zur ersten Orientierung, jeder Einzelfall muss gesondert geprüft werden.

Schlagwörter

AnonymisierungPseudonymisierungDatenschutz

Weiterführende Links

  • Mozygemba, K., & Hollstein, B. (2023). Anonymisierung und Pseudonymisierung qualitativer textbasierter Forschungsdaten: Eine Handreichung. Qualiservice Working Papers 5-2023, Bremen. https://doi.org/10.26092/elib/2525.

Schlagwortregister

Die Nummern verweisen auf die jeweilige Problem Story.

Zitationsvorschlag

Wir schlagen Ihnen vor, diesen Beitrag wie folgt zu zitieren:

Datenqualitätsprobleme und mögliche Lösungsansätze beim Umgang mit historischen Daten. Anna Pravdyuk, Sera Ria Gomes & Peggy Große (2026, August). Veröffentlichungen zur Datenqualität in den historischen Wissenschaften. https://datenqualitaet.org/ressourcen/datenqualitaetsprobleme/

Die Inhalte stehen unter der Lizenz CC BY 4.0.