Diese Sammlung bietet einen praxisnahen Einstieg in den Umgang mit strukturierten Daten in der Geschichtsforschung. Sie stellt typische Herausforderungen zusammen, denen man bei der Arbeit mit unterschiedlichen Datentypen begegnet, und zeigt anwendbare Lösungswege auf. Jedes Fallbeispiel – die sogenannte Problem Story – folgt demselben Aufbau:
- Eine konkrete Beschreibung des Problems aus dem Forschungsalltag.
- Die Zuordnung zum zugrundeliegenden Datenqualitätsproblem.
- Ein pragmatischer Lösungsvorschlag, ergänzt um Schlagwörter und weiterführende Links.
Weiterlesen
Die Beispiele stammen aus der Beratungspraxis der NFDI4Memory FAIR Data Fellowships1, den Ergebnissen der Umfrageauswertung „Praktiken, Standards und Bedarfe zur Datenqualität in den Communities der historisch arbeitenden Fächer“2 und den alltäglichen Erfahrungen unserer Arbeitsbereiche. Wo die Beispiele auf realen Projekten basieren, wurden die Geschichten von den Autor*innen umformuliert. Einige Fallbeispiele berühren zudem übergreifende methodische Fragen, wie die Qualitätskontrolle oder das Streben nach Objektivität bei der Datenbereinigung. Diese sind für die gesamte historische Arbeit relevant, jedoch insbesondere für strukturierte Daten.
Das Angebot richtet sich gezielt an Forschende, die in ihrer Arbeit mit strukturierten Daten wie Tabellen zu tun haben, sich aber noch nicht intensiv mit dem Forschungsdatenmanagement auseinandergesetzt haben. Um die Hürden so niedrig wie möglich zu halten, sind die Problemstellungen bewusst konkret gewählt. Die Lösungsvorschläge hingegen sind bewusst allgemein gehalten, damit man sie unabhängig vom eigenen Thema oder Vorwissen direkt nutzen kann.
Uns ist bewusst, dass es für fast jede dieser Situationen auch technisch komplexere Lösungen gibt. Ziel dieser Sammlung ist es jedoch nicht, tiefgehende IT-Expertise zu vermitteln, sondern schnelle „Erste Hilfe“ zu leisten und die Orientierung für die nächsten Schritte zu erleichtern.
- NFDI4Memory FAIR Data Fellowships: https://4memory.de/aktivitaeten/fellowships/ (Letzter Zugriff: 2026-07-07).
- Pravdyuk, A., Körfer, A.-L., Große, P., Greb, H., Grevelhörster, D., & Meiners, O. (2025). Bericht zur Umfrage „Praktiken, Standards und Bedarfe zur Datenqualität in den Communities der historisch arbeitenden Fächer“. In 4memory Working Paper Series (1-0, Nr. 7). Zenodo. https://doi.org/10.5281/zenodo.17434287
Qualitätskontrolle 1 Datenbereinigung 1 Heterogenität & Inkonsistenz 3 Unsicherheiten 4 Maschinenlesbarkeit 5 Standardisierung & kontrollierte Vokabulare 8 Tools 2 Ethik & Objektivität 2 Datenschutz 1 Schlagwortregister 46
1. Qualitätskontrolle
Quality Control First
Wir arbeiten mit einem großen Team an einem Projekt und verwenden oft unterschiedliche Bezeichnungen für dieselben Dinge. Das führt zu Verwirrung und erschwert unsere Arbeit.
Datenqualitätsproblem
fehlende Qualitätskontrolle im Projekt
Lösung ansehen
Je nach Arbeitsumgebung und genutzten Anwendungen sollte das Projektteam möglichst schon zum Projektstart auf kontrollierte Vokabulare zurückgreifen und diese beispielsweise als feste Wertelisten in Tabellen oder Tools für das Projektmanagement hinterlegen. Bei Bedarf kann eine einfache projektinterne Liste für die einheitliche Bezeichnung von einzelnen Arbeitsschritten und -ständen schon hilfreich sein. Spätestens bei der strukturierten Erschließung, Indexierung oder Annotation von Forschungsdaten und Informationsobjekten jeder Art sollte auf kontrollierte Vokabulare zurückgegriffen werden. Um die Datenqualität im Projektverlauf zu sichern, ist es sinnvoll, verbindliche Qualitätskontrollen und entsprechende Prozesse zur Korrektur zu vereinbaren und zu etablieren.
Schlagwörter
2. Datenbereinigung
Die Invasion der Dubletten
Mein Datensatz ist nach und nach so groß geworden, dass ich mir sicher bin, dass es darin doppelte Werte gibt. Manchmal habe ich das Gefühl, dass ich bestimmte Daten bereits zuvor in der Tabelle gesehen habe. Es würde unverhältnismäßig viel Zeit in Anspruch nehmen, den Datensatz manuell zu durchsuchen.
Datenqualitätsproblem
Dubletten; Redundanz
Lösung ansehen
Bei der Suche nach fehlenden oder doppelten Werten in großen Datensätzen kann das Open-Source-Tool OpenRefine helfen, mit dem sich Daten z. B. in CSV- oder XLS-Dateien bereinigen, konvertieren oder anreichern lassen. Mithilfe der „Facetten“ (Filterfunktionen) in OpenRefine lassen sich leere Felder mit wenigen Klicks isolieren und auch direkt befüllen. OpenRefine ist relativ unkompliziert und lässt sich leicht selbst erlernen. Schulungen dazu finden Sie unter den weiterführenden Links.
Schlagwörter
EinzigartigkeitDuplikateOpenRefine
Weiterführende Links
- OpenRefine: https://openrefine.org/
- Step-by-Step-Anleitungen für OpenRefine einschließlich der automatischen Entfernung von Duplikaten: https://programminghistorian.org/en/lessons/cleaning-data-with-openrefine
- Toolbeschreibung bei Histofox: https://histofox.4memory-dataliteracy.de/tools/openrefine/
3. Heterogenität & Inkonsistenz
Gleiche Kategorie, verschiedene Schreibweisen
Strukturierte Datensätze aus verschiedenen Quellen oder Erhebungsphasen können beim Zusammenführen inhaltliche Inkonsistenzen mit sich bringen. So können in einem Datensatz unterschiedliche Bezeichnungen in einem Feld erscheinen, z. B. für männlich „m“ oder „männlich“. Dadurch werden u. a. Kategorien mehrfach gezählt oder Filter ergeben unvollständige bzw. ungenaue Treffermengen.
Datenqualitätsproblem
Heterogenität; Inkonsistenz
Lösung ansehen
Vor der Zusammenführung von Datensätzen sollten alle Schreibweisen und Abkürzungen, die in den Datensätzen vorkommen, gesammelt und in einer Mapping-Tabelle festgehalten werden. Diese Tabelle dient als einfache Übersicht, die dokumentiert, welche Varianten für einen Begriff, ein Konzept oder eine Bezeichnung als gleichwertig behandelt werden. Jede Entscheidung zur Vereinheitlichung, d. h. welche Varianten zusammengeführt wurden und warum, wird schriftlich festgehalten und dem Datensatz beigefügt, sodass Dritte diese Entscheidungen nachvollziehen können. Nach der Zusammenführung und entsprechenden Bereinigung sollte der Datensatz systematisch auf verbleibende Inkonsistenzen geprüft werden, etwa durch Durchsicht aller einzigartigen Werte in einem Feld. Am besten wird entsprechenden Inkonsistenzen jedoch bereits zu Projektbeginn vorgebeugt, beispielsweise durch die Anlage fester Werte- und Bezeichnungslisten in Tabellen und projekteigenen kontrollierten Vokabularen.
Schlagwörter
Heterogene Quellen, begrenzte Automatisierung
Die Erstellung und Aufbereitung eines Datensatzes wurde durch die strukturelle Heterogenität der historischen Quellen erschwert: Inkonsistente Schreibweisen, Beschädigungen sowie Mehrsprachigkeit innerhalb einzelner Dokumente begrenzten den Einsatz automatisierter Verarbeitungsverfahren.
Datenqualitätsproblem
Heterogenität; Inkonsistenz
Lösung ansehen
Wenn eine Vereinheitlichung unerlässlich ist, wird sie transparent gegen die Bewahrung des historischen Charakters abgewogen. Das Minimaleingriffsprinzip, d. h. die Durchführung möglichst weniger Korrekturen an der Originalschreibweise, sichert die Nachnutzbarkeit des Datensatzes auch für Fragestellungen jenseits der ursprünglichen Erschließungsabsicht. Welche Eingriffe als „minimal“ gelten, wird explizit dokumentiert und begründet. Nicht auflösbare Inkonsistenzen, wie z. B. beschädigter Text, unleserliche Passagen oder uneindeutige Sprachwechsel, werden als solche gekennzeichnet.
Schlagwörter
Weiterführende Links
- Beispiel aus der Praxis: Vira, O. (2026). Transforming historical street names into FAIR research data. DH Lab. https://dhlab.hypotheses.org/7934.
Kategorien ohne klare Kriterien
Bei Forschungsdatenbanken können unklare Benennungen und Kriterien zur Befüllung der Datenbank eine Herausforderung sein. Kategorien können zu abstrakt oder nicht eindeutig definiert und Grenzfälle zwischen Kategorien nicht geregelt sein.
weiterlesen
Eingaberichtlinien sind nicht vorhanden oder zu ungenau, sodass Bearbeitende sie unterschiedlich interpretieren. Kriterien wurden im Laufe eines Projektes verändert, doch bestehende Einträge wurden nicht rückwirkend angepasst.
Datenqualitätsproblem
Dateninkonsistenz; Datenheterogenität; mangelnde Standardisierung; mangelnde Rückverfolgbarkeit
Lösung ansehen
Eine gängige Lösung bietet eine lebendige Datendokumentation, die aktiv gepflegt und im Team geteilt wird. Dazu gehören klare Eingaberichtlinien, die für jedes Feld exakt definieren, welche Inhalte einzutragen sind, wie Grenzfälle behandelt werden und wie sich einzelne Kategorien voneinander abgrenzen. Besonders komplizierte Fälle sollen im Team diskutiert werden. Ändern sich Kriterien im Projektverlauf, sorgt eine fortlaufende Änderungsdokumentation für die nötige Nachvollziehbarkeit. Abgerundet wird das Konzept durch regelmäßige Schulungen und ein strukturiertes Onboarding: So ist sichergestellt, dass alle Beteiligten – auch neue Teammitglieder – die Richtlinien kennen und einheitlich umsetzen.
Schlagwörter
KonsistenzHomogenitätStandardisierungRückverfolgbarkeitDokumentationDatenbank
4. Unsicherheiten
Wie man mit Ungenauigkeiten und Unsicherheiten umgeht
Einige Informationen in den Quellen sind schwer lesbar, dennoch erscheint es wichtig, sie in einem strukturierten Datensatz anzugeben. Wie sollte man in einem solchen Fall vorgehen?
Datenqualitätsproblem
Ungenauigkeiten; Unschärfe; Unvollständigkeit
Lösung ansehen
Falls die Daten nicht eindeutig aus der Quelle ausgelesen werden können, kann ein Kennzeichen eingefügt werden, das auf die Ungenauigkeit der Daten hinweist (z. B. „?“ oder „uncertain“). Die Bedeutung dieses Kennzeichens muss in der Dokumentation zum Datensatz erläutert werden.
Schlagwörter
Weiterführende Links
- Beispiel aus der Praxis: Jankowski, T. M. (2024). Courland Census Microdata, 1803-1804 [Datensatz]. https://emporion.gswg.info/receive/emporion_mods_00000034.
Fehler richtig hervorheben
Die Daten, auf denen mein Datensatz basiert, wurden aus einer handschriftlichen Quelle transkribiert. Manchmal lassen sich die Informationen nicht entziffern, manchmal sind sie schwer zu interpretieren oder nicht eindeutig genug. Daher können die Werte in den jeweiligen Feldern nicht als fehlend markiert werden. Sie sind vorhanden, aber nicht vollständig.
Datenqualitätsproblem
Ungenauigkeiten; Unschärfe; Unvollständigkeit
Lösung ansehen
Informationen in handschriftlichen Quellen, die aufgrund von Beschädigungen, Auslassungen oder Schriftbild nur unsicher oder gar nicht aufgelöst werden können, sollten im Transkript bzw. Datensatz gekennzeichnet werden. Eine Kennzeichnung kann durch runde oder eckige Klammern erfolgen, in denen Ergänzungen stehen können. Sind Ergänzungen nicht möglich, werden dafür Punkte eingesetzt. Je nach verwendeter Richtlinie ein Punkt pro vermutetem Buchstaben oder generell drei Punkte […]. Um einen Überblick über gängige Wiedergabeformen und editorische Praktiken für eine bestimmte Quellenart zu bekommen, können auch die jeweiligen Richtlinien verfügbarer Editionen hilfreich sein.
Ergänzungen sollten immer durch Anmerkungen erläutert werden. Außerdem sollte dem Datensatz eine Dokumentation beigegeben sein, in der die verwendete Transkriptionsrichtlinie und die Zeichen erläutert werden.
Schlagwörter
Weiterführende Links
- Bayerische Archivschule. (2011). Regeln für die Transkription lateinischer Texte in der Bayerischen Archivschule. https://www.gda.bayern.de/mam/typo3/user_upload/Medien_fuer_Unterseiten/bayerische_archivschule_-_transkriptionsregeln_lateinisch_-_stand_2011.pdf.
- Känzle, A., & Galle, S. (o. D.). Ad fontes, Ressourcen: Transkriptionsregeln. http://www.adfontes.uzh.ch/ressourcen/schriften-lesen/transkriptionsregeln-pdf/.
Eine Person, viele Schreibweisen
Beim Auswerten von Hamburger Quellen des 18. und 19. Jahrhunderts, u. a. Hafenregistern und Matrosenlisten, nehme ich Personen in einem strukturierten Datensatz auf. Mein Problem ist vor allem der Umgang mit Schreibweisen von Namen für Personen aus dem nicht-europäischen Raum (bspw. bei der Dokumentation von Personen aus dem südasiatischen Raum).
Datenqualitätsproblem
Unschärfe; Heterogenität; Inkonsistenz; Mehrsprachigkeit
Lösung ansehen
Die Schreibweisen der Personennamen können nach den entsprechend geltenden Transliterations- bzw. Transkriptionsregeln aufgelöst und unter Umständen angepasst werden. Allerdings sollten diese Eingriffe dokumentiert werden. Zusätzlich können in einer eigenen Spalte alternative Schreibweisen und frühere Namen (z. B. bei Namensänderungen durch Taufen) erfasst werden. Außerdem sind biografische Notizen zu jedem Eintrag hilfreich, die den Nutzenden erläutern, auf welcher Quellenbasis der Name erfasst wurde und welche Unsicherheiten bestehen.
Schlagwörter
GenauigkeitKonsistenzEinheitlichkeitDokumentationNamenTransliterationTranskription
Weiterführende Links
- Beispiel aus der Praxis: Bärwald, A. (2026). Menschen afrikanischer, asiatischer sowie indigen- und afrikanisch-amerikanischer Herkunft im Hamburger Raum, 1760 bis 1840 (Version 4) [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.18381462.
- Bärwald, A. (2024). Minderheitengeschichten digital: Über den Versuch, prosopografische Daten zu nicht-weißen Menschen im Hamburger Raum aufzubereiten. DH Lab. https://dhlab.hypotheses.org/5756.
Wenn man es mal nicht genau weiß
Manchmal liefern historische Quellen keine eindeutige Antwort auf die Frage nach dem gesellschaftlichen Status einer Person in kolonialen Kontexten, wie bspw. ob sie versklavt war, nicht versklavt war oder ihren Status im Laufe ihres Lebens verändert hat. Solche Unsicherheiten entstehen durch lückenhafte, widersprüchliche oder interpretationsbedürftige Angaben in den Quellen.
Datenqualitätsproblem
Unschärfe; Ungenauigkeiten; mangelnde Strukturierung
Lösung ansehen
Grundsätzlich ist es wichtig, Unsicherheiten – z. B. bei Fragen des Standes oder der konfessionellen Zugehörigkeit – im Datensatz (z. B. einer Tabelle) nachvollziehbar zu machen: So könnten im genannten Beispiel in einer zusätzlichen Spalte alle Entwicklungsvarianten aufgeführt und so die Ambivalenz mit den Optionen „versklavt“, „nicht versklavt“, „unbekannt“, „wahrscheinlich“ und „vormals versklavt“ abgebildet werden. Je nach Quellenlage werden Aussagen z. B. über den Personenstand aus dem Kontext abgeleitet (wie dem Wohnort oder dem Eigennamen). Da es sich hier um einen interpretativen Schritt handelt, sollte das unbedingt in der Datendokumentation deutlich gemacht werden.
Schlagwörter
GenauigkeitStrukturierungstrukturierte Daten
Weiterführende Links
- Beispiel aus der Praxis: Bärwald, A. (2026). Menschen afrikanischer, asiatischer sowie indigen- und afrikanisch-amerikanischer Herkunft im Hamburger Raum, 1760 bis 1840 (Version 4) [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.18381462.
- Bärwald, A. (2024). Minderheitengeschichten digital: Über den Versuch, prosopografische Daten zu nicht-weißen Menschen im Hamburger Raum aufzubereiten. DH Lab. https://dhlab.hypotheses.org/5756.
5. Maschinenlesbarkeit
Leer heißt nicht falsch
Im Laufe der Arbeit wurde ein umfangreicher Bestand an strukturierten Daten zusammengestellt. Jetzt liegt eine Tabelle mit strukturell unterteilten Einheiten vor. Da bestimmte Informationen nicht gefunden werden konnten, blieben einige Felder leer. Was kann ich tun? Sind Leerstellen in Ordnung?
Datenqualitätsproblem
Maschinenlesbarkeit; Interoperabilität; leere Felder
Lösung ansehen
Wenn Informationen unauffindbar sind und dadurch Felder leer bleiben, sollten diese mit einem speziellen Zeichen befüllt werden (z. B. „N/A“, „unknown“, „missing“ oder einem einfachen Punkt „.“). Das ist u. a. wichtig für die maschinelle Datenverarbeitung: So können Tools zur Weiterverarbeitung der Daten erkennen, dass Daten bewusst fehlen und nicht versehentlich vergessen wurden.
Schlagwörter
Auf der Suche nach Eindeutigkeit
In meinem Datensatz gibt es viele Spalten, in denen Ja/Nein-Fragen erfasst werden müssen: z. B. Ist es ein Grabmal für die ganze Familie? Wie sollte eine Antwort auf diese Frage in der Tabelle gekennzeichnet werden?
Datenqualitätsproblem
maschinelle Unlesbarkeit; fehlende Interoperabilität
Lösung ansehen
Solche Werte werden als Boolesche Werte bezeichnet. Bei ihnen ist es ratsam, im gesamten Datensatz eindeutige und einheitliche Bezeichnungen zu verwenden, damit sie später bei der maschinellen Datenverarbeitung berücksichtigt werden können (z. B. JA/NEIN, TRUE/FALSE).
Schlagwörter
MaschinenlesbarkeitInteroperabilitätBoolesche Werte
Weiterführende Links
- Beispiel aus der Praxis: Jarošová, E., Körfer, A.-L., & Pravdyuk, A. (2026). Database of Prague Funerary Monuments 1500-1650 (Version 1) [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.18519018.
Wie spricht man „Maschinisch“
In den Titeln von Zeitschriften wird zur Angabe der Ausgabenummer das Symbol „#“ verwendet. Kann man es unverändert lassen oder sollte man es durch eine Buchstabenbezeichnung ersetzen?
Datenqualitätsproblem
maschinelle Unlesbarkeit; mangelnde Interoperabilität
Lösung ansehen
Auf die Verwendung spezieller Zeichen sollte man möglichst verzichten, da sie das maschinelle Auslesen und Verarbeiten der Daten erschweren können. Es empfiehlt sich, sie durch eine Alternative zu ersetzen. Zum Beispiel:
Titel „AmigaCS #1“ wird zu „AmigaCS No. 1“.
Schlagwörter
MaschinenlesbarkeitInteroperabilität
Weiterführende Links
- Beispiel aus der Praxis: Shtohryn, T. (2024). Diskettenmagazine im Ostmitteleuropäischen Raum (1.0) [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.12819914.
Wenn eine Trennung für alle das Beste ist
Nachdem ich alle Daten in einem Datensatz zusammengefasst hatte, ist mir aufgefallen, dass ich oft unterschiedliche Datumsangaben in ein und dasselbe Feld erfasst habe – z. B. wurden in einem Feld das Sterbedatum und das Datum der Aufstellung des Grabmals angegeben. Ich bin mir nicht sicher, ob diese Lösung gut bzw. richtig ist. Wie kann ich das am besten ändern?
Datenqualitätsproblem
mangelnde Strukturierung; mangelnde Interoperabilität; maschinelle Unlesbarkeit
Lösung ansehen
Unterschiedliche Informationen (z. B. Sterbedatum und Datum der Aufstellung des Grabsteins) gehören in separate Spalten. Als Faustregel gilt: Höhere Struktur bedeutet bessere Daten. Das steigert die maschinelle Lesbarkeit, sichert eine reibungslose Verarbeitung und ermöglicht ein präzises Filtern der Daten.
Schlagwörter
Strukturierungstrukturierte DatenInteroperabilitätMaschinenlesbarkeit
Weiterführende Links
- Beispiel aus der Praxis: Jarošová, E., Körfer, A.-L., & Pravdyuk, A. (2026). Database of Prague Funerary Monuments 1500-1650 (Version 1) [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.18519018.
Wenn die Daten nicht getrennt werden können
Soweit ich weiß, ist es bei der Erstellung eines Datensatzes äußerst ratsam, die Informationen so detailliert wie möglich auf einzelne Spalten aufzuteilen. Es gibt jedoch Ausnahmen, in denen dies nicht möglich ist. Was ist in einem solchen Fall zu tun?
Datenqualitätsproblem
maschinelle Unlesbarkeit; mangelnde Interoperabilität
Lösung ansehen
Wenn Werte sich separieren lassen, dann sollten sie auch separat erfasst werden. Ist dies jedoch nicht möglich, dann empfiehlt es sich, die Werte voneinander mit einem Semikolon („;“) zu trennen, um das maschinelle Lesen und Verarbeiten der Daten zu vereinfachen. Ein Beispiel hierfür ist, dass eine Zeitschrift von mehreren Personen redigiert wurde, für diese Daten jedoch nur eine Spalte („editor“) vorgesehen ist: „Pouet; Elysium; Sunga“.
Schlagwörter
MaschinenlesbarkeitStrukturierungstrukturierte DatenInteroperabilität
Weiterführende Links
- Beispiel aus der Praxis: Shtohryn, T. (2024). Diskettenmagazine im Ostmitteleuropäischen Raum (1.0) [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.12819914.
6. Standardisierung & kontrollierte Vokabulare
Viele Namen, doch nur eine Person
Bei der Arbeit mit dem Datensatz wurden zahlreiche Namen von Kulturschaffenden erfasst. Allerdings gibt es für die Schreibweise dieser Namen viele verschiedene Varianten. Wie können die Schreibweisen vereinheitlicht werden, um eine bessere Nachnutzung des Datensatzes zu erleichtern?
Datenqualitätsproblem
mangelnde Standardisierung; mangelnde Auffindbarkeit; mangelnde Interoperabilität; Inkonsistenz; Heterogenität
Lösung ansehen
Um Personennamen zu vereinheitlichen, können Normdaten wie die GND oder VIAF herangezogen werden. Dadurch wird die Auffindbarkeit einer Person trotz unterschiedlicher Schreibweise im Datensatz erheblich erhöht. Zusätzlich zur in der Normdatei angegebenen Schreibweise des Namens (Hauptansetzungsform) sollten der entsprechende Identifikator (GND- oder VIAF-ID) und der Permalink angegeben werden. Falls es für die Person keinen Eintrag in einer Normdatei geben sollte, dann sollten die Namen nach einem Transliterationsstandard übertragen werden.
Schlagwörter
StandardisierungAuffindbarkeitInteroperabilitätKonsistenzHomogenitätNamenVIAFGNDNormdateienkontrollierte Vokabulare
Weiterführende Links
- Beispiel aus der Praxis: Levchenko, M. (2024). Literary Events in Saint Petersburg (1999-2019) from SPbLitGuide Newsletters [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.13753154.
- VIAF: https://viaf.org/en
- Gemeinsame Normdatei (GND): https://www.dnb.de/DE/Professionell/Standardisierung/GND/gnd_node.html
Datumsangaben richtig schreiben
Mein Datensatz enthält viele Datumsangaben. Es gibt zahlreiche Möglichkeiten, diese zu schreiben. Wie lässt sich die Schreibweise vereinheitlichen?
Datenqualitätsproblem
Inkonsistenz; mangelnde Standardisierung
Lösung ansehen
Zur Vereinheitlichung der Datumsschreibweise empfiehlt es sich, sich an den Standard ISO 8601 zu halten. Dieser hilft dabei, die Schreibweise von Daten zu vereinheitlichen, bei denen der Monat und/oder der Tag bekannt sind. Zusätzlich können auch Zeiträume sowie ungenaue oder unsichere Datumsangaben mithilfe der Norm und ihrer Erweiterungen standardbasiert angegeben werden.
Datum: YYYY-MM-DD (z. B. 2026-03-20)
Jahr/Monat: YYYY-MM (z. B. 2026-03)
Schlagwörter
KonsistenzDateneingabeStandardisierung
Weiterführende Links
- Beispiel aus der Praxis: Levchenko, M. (2024). Literary Events in Saint Petersburg (1999-2019) from SPbLitGuide Newsletters [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.13753154.
- ISO 8601 Date and Time Format: https://www.iso.org/iso-8601-date-and-time-format.html
Standort gesucht
In meinem Datensatz arbeite ich viel mit geografischen Standorten. Gibt es eine Möglichkeit, diese zu vereinheitlichen und ihre Auffindbarkeit zu verbessern?
weiterlesen
Ich erfasse aktuell einen gelehrten Briefwechsel des 18. Jahrhunderts und halte zunächst die wichtigsten Informationen zu jedem Brief in einer Tabelle fest. Dazu gehören auch die Angaben zu den Standorten der jeweiligen Korrespondent*innen. Wie gehe ich hier am besten vor? Soll ich die historischen Ortsnamen übernehmen, wie sie im Original angegeben sind – oder lieber nur die heutigen Ortsnamen (Endonym), damit eine einfachere Zuordnung stattfinden kann? Wie kann ich sicherstellen, dass meine Daten hier anschlussfähig sind? Wie stelle ich sicher, dass Angaben zu Orten, deren Namen in einer Region oder einem Land mehr als einmal vorkommen, korrekt zugeordnet werden?
Datenqualitätsproblem
fehlende Auffindbarkeit; fehlende Interoperabilität; Inkonsistenz; Heterogenität
Lösung ansehen
Die Lösung dieses Problems basiert auf vielfältigen unterschiedlichen Gazetteers und Ortsverzeichnissen, die alle ihre eigenen Stärken und Schwächen haben. Allgemein (international) anerkannt sind GeoNames und Wikidata. Bzgl. der Abdeckung von IDs zu Orten und wenn es um die reine Identifizierung via ID geht, hat das Geschichtliche Orts-Verzeichnis (GOV) die bei Weitem höchste Datenqualität insbesondere bei einigen bei spezifischen geografischen Schwerpunkten.
Schlagwörter
AuffindbarkeitInteroperabilitätKonsistenzHomogenitätOrteKoordinaten
Weiterführende Links
- Das geschichtliche Orts-Verzeichnis (GOV): https://gov.genealogy.net/
- GeoNames: https://www.geonames.org/
- Wikidata: https://www.wikidata.org/wiki/Wikidata:Main_Page
Einen Punkt auf der Karte finden
Für meine Forschung habe ich Quellen nach Veranstaltungsorten ausgewertet, die aber nicht mehr unter der jeweiligen Adresse zu finden sind. Wie kann ich die Informationen sinnvoll nachnutzbar machen?
Datenqualitätsproblem
mangelnde Auffindbarkeit
Lösung ansehen
Um die historischen Veranstaltungsorte zurückverfolgen zu können, sollten neben der zur Erhebungszeit aktuellen Adresse des Veranstaltungsortes auch die geografischen Koordinaten (Breiten- und Längengrad) aufgenommen werden. Verbreitet und dazu allgemein empfohlen ist das World Geodetic System 1984 (WGS 84).
Schlagwörter
Weiterführende Links
- Beispiel aus der Praxis: Levchenko, M. (2024). Literary Events in Saint Petersburg (1999-2019) from SPbLitGuide Newsletters [Datensatz]. Zenodo. https://zenodo.org/records/13753154.
- DMA WGS 84 Development Committee. (1991). Department of Defense World Geodetic System 1984, Its Definition and Relationships with Local Geodetic Systems (DMA TR 8350.2, Second Edition). Defense Mapping Agency Systems Center. https://apps.dtic.mil/sti/pdfs/ADA280358.pdf.
- Wikipedia. (2023). World Geodetic System 1984. https://de.wikipedia.org/wiki/World_Geodetic_System_1984.
Vage Datumsangaben
Eine zentrale Herausforderung bei der strukturierten Datenerfassung war die Unschärfe der Quellendatierungen. Während die maschinelle Auswertung exakte numerische Angaben verlangt, bieten die Metadaten der Quellen oft nur vage Bezeichnungen wie „ca.“, „um“ oder grobe Epochen („Mittelalter“).
weiterlesen
Um diese Daten nutzbar zu machen, müssen unpräzise Angaben (z. B. „1. Hälfte des 16. Jahrhunderts“) systematisch in Zahlenwerte übersetzt werden. Welche etablierten Vorgaben und Best Practices gibt es für diese Transformation?
Datenqualitätsproblem
Ungenauigkeit; Unschärfe; mangelnde Interoperabilität; mangelnde Standardisierung; maschinelle Unlesbarkeit
Lösung ansehen
Das Extended Date/Time Format (EDTF) Standard (integriert in ISO 8601-2) wurde entwickelt, um Unschärfen in der Datierung strukturiert darzustellen, sodass Maschinen sie verstehen. Auch auf das Regelwerk des Marburger Informations-, Dokumentations- und Administrations-Systems (MIDAS) kann für eine maschinenlesbare Erfassung historischer Zeiträume und Unschärfen zurückgegriffen werden. Die sogenannte „Granularität“ und das Regelwerk, nach dem vage Angaben aufgelöst werden, sollten immer dokumentiert werden, damit der Datensatz nachgenutzt werden kann.
Schlagwörter
GenauigkeitInteroperabilitätStandardisierungMaschinenlesbarkeitMIDAS
Weiterführende Links
- Bove, J., Heusinger, L., & Kailus, A. (2001). Marburger Informations-, Dokumentations- und Administrations-System (MIDAS): Handbuch und CD (Literatur und Archiv 4; 4., überarbeitete Auflage, S. 37–46). München: K. G. Saur. https://doi.org/10.11588/artdok.00003770. Volltext: https://d-nb.info/1212592956/34.
- Extended Date/Time Format (EDTF) Specification (Library of Congress): https://www.loc.gov/standards/datetime/edtf.html
Nach Babylon – aber richtig
In meinem Datensatz müssen Angaben zu Sprachen gemacht werden. Sie sind jedoch in unterschiedlichen Formaten und Sprachen angegeben. Sicherlich gibt es dafür auch eine Standardisierung? Welche Standards kann man verwenden, woran sollte man sich am besten orientieren?
Datenqualitätsproblem
Inkonsistenz; Heterogenität; mangelnde Standardisierung
Lösung ansehen
Ja, diese Werte sollten standardisiert erfasst werden. Als Orientierung kann die ISO-Norm 639:2023 für die Sprachangaben dienen.
Schlagwörter
KonsistenzHomogenitätDateneingabeStandardisierungSprachen
Weiterführende Links
- ISO 639:2023. Code for individual languages and language groups: https://www.iso.org/obp/ui/en/?__cf_chl_f_tk=huUNvLP5gBtgg53R8kA1HjotPoB92fmXI4Xb1wvKeCU-1783425357-1.0.1.1-_luwD_J0Dq9lq6IUAu_9vh83EJZRMp3eOGtAro6HU4U#iso:std:iso:639:ed-2:v1:en
- Wikipedia. (2026). List of ISO 639 language codes. https://en.wikipedia.org/wiki/List_of_ISO_639_language_codes.
In der Übersetzung nicht verloren gehen
Im Projekt arbeite ich viel mit Namen aus Osteuropa, die in kyrillischer Schrift geschrieben sind. Kann man sie in dieser Form im Datensatz belassen?
Datenqualitätsproblem
Inkonsistenz; Heterogenität; maschinelle Unlesbarkeit
Lösung ansehen
Um die maschinelle Lesbarkeit der Daten zu verbessern und den Datensatz zu vereinheitlichen, sollten alle Daten in einheitlichen Schriftzeichen dargestellt werden. Die Transliteration der Daten erfolgt am besten gemäß einem internationalen Standard, in diesem Fall der Norm ISO 9:1995, die eine sprachunabhängige, zeichengenaue und damit auch reversible Umschrift ermöglicht. Aussprachebasierte Transkriptionen, beispielsweise gemäß den Duden-Konventionen, sollten im Fall strukturierter Daten vermieden werden. Die Daten in der Originalsprache können in einer separaten Spalte belassen werden.
Schlagwörter
KonsistenzHomogenitätTransliterationStandardisierungMaschinenlesbarkeit
Weiterführende Links
- ISO 9:1995. Information and documentation – Transliteration of Cyrillic characters into Latin characters – Slavic and non-Slavic languages: https://www.iso.org/standard/3589.html.
- Wikipedia. (2006). ISO 9. https://de.wikipedia.org/wiki/ISO_9.
Auf der Suche nach Normen
Im Laufe der Projektarbeit wurden zahlreiche Daten gesammelt, diese sind jedoch nicht normiert. Das heißt, sie wurden nicht mit entsprechenden kontrollierten Vokabularen und Normdaten abgeglichen. Wo kann man sich näher mit dem Thema befassen und ein passendes Vokabular auswählen?
Datenqualitätsproblem
mangelnde Auffindbarkeit; mangelnde Interoperabilität; Inkonsistenz; Heterogenität; mangelnde Standardisierung
Lösung ansehen
Passende Vokabulare und Thesauri findet man in verschiedenen Registern wie z. B. R:hovono und BARTOC. Die von der Deutschen Nationalbibliothek kuratierte Gemeinsame Normdatei (GND) ist für Personen, Körperschaften und Schlagworte die am häufigsten verwendete Normdatei in Deutschland. Um die eigenen Daten mit Normdaten und Vokabularen abzugleichen und anzureichern, empfiehlt es sich, eine Software wie OpenRefine zu verwenden, die einen automatisierten Abgleich und Korrekturen der Daten ermöglicht.
Schlagwörter
AuffindbarkeitInteroperabilitätKonsistenzHomogenitätStandardisierungNormdateienkontrollierte Vokabulare
Weiterführende Links
- R:hovono – Register historischer und objektbezogener Vokabulare und Normdaten: https://vokabulare.geschichte.uni-halle.de/
- BARTOC: https://bartoc.org/
- OpenRefine: https://openrefine.org/
- Moeller, K., Purschwitz, A., & Köther, F. (2025). Kontrollierte Vokabulare und Normdaten der historisch arbeitenden Disziplinen. Zenodo. https://doi.org/10.5281/zenodo.17708554.
7. Tools
Notizenchaos
Im Laufe meiner Arbeit habe ich versucht, die Auszüge aus zahlreichen Quellen für meine Forschung zu strukturieren. Ich bin auf der Suche nach einem Tool, mit dem ich meine Informationen besser strukturieren kann.
Datenqualitätsproblem
falsches Tool; mangelnde Strukturierung
Lösung ansehen
Aus Quellen extrahierte Datenwerte (z. B. zu Personen, historischen Ereignissen etc.) lassen sich beispielsweise in Tabellenform organisieren. Je nach gewählter Datenstruktur lassen sich diese Tabellen später ggf. sogar in Anwendungen importieren. Für die Arbeit mit Tabellen kann man auf folgende Programme zurückgreifen: LibreOffice Calc, Microsoft Excel. Für die Bereinigung und Umwandlung vorhandener Daten eignet sich OpenRefine.
Schlagwörter
Strukturierungstrukturierte DatenTabellenSoftwareTools
Weiterführende Links
- LibreOffice Calc: https://www.libreoffice.org/discover/calc/
- Microsoft Excel: https://excel.cloud.microsoft/de-de/
- OpenRefine: https://openrefine.org/
Aus der Quelle in die Tabelle
In meinem Projekt möchte ich Informationen aus verschiedenen Quellen in Form von strukturierten Daten aufbereiten. Es ist jedoch sehr aufwändig, die Daten manuell aus den Quellen zu übertragen, und würde viel Zeit in Anspruch nehmen. Gibt es Möglichkeiten, meine Quellen in ein digitales Format zu übertragen und den Text daraus zu extrahieren, um die weitere Bearbeitung zu vereinfachen?
Datenqualitätsproblem
mangelnde Texterkennung
Lösung ansehen
OCR (Optical Character Recognition) bzw. ATR (Automatic Text Recognition) sind Verfahren, die gedruckte und handschriftliche Texte in digitalen Bildern automatisch erkennen und in maschinenlesbaren Text umwandeln.
Auch KI-gestützte Tools beherrschen inzwischen Texterkennung, die vor allem bei gedruckten Texten sehr gute Ergebnisse liefert. Als datenschutzkonformes Angebot wäre z. B. Mistral OCR zu nennen. Über entsprechende Prompts ist auch ein Output in strukturierte Dateiformate (XML, JSON) möglich. KI-Tools sind in der Regel für die meisten Nutzenden zugänglicher als Fachtools.
Transkribus (eingeschränkt kostenfrei nutzbar) ist spezialisiert auf historische Handschriften (Handwritten Text Recognition, HTR) und nutzt dafür mittlerweile KI-gestützte Verfahren.
Open-Source-Tools wie eScriptorium und OCR4all sind komplizierter in der Installation und Anwendung, benötigen zudem vertiefte technische Kenntnisse sowie eigene Hardware für den lokalen Betrieb.
Insbesondere bei historischen Handschriften können Ergebnisse sehr stark variieren. Eine Nachbearbeitung und Überprüfung der Daten bleibt notwendig, bzw. Modelle müssen für die jeweiligen Schriften und Dokumente (nach)trainiert werden.
Schlagwörter
Maschinenlesbarkeitunstrukturierte Datenstrukturierte DatenTabellenOCR/ATR
Weiterführende Links
- Mistral OCR: https://mistral.ai/fr/news/ocr-4/
- Transkribus: https://www.transkribus.org/
- eScriptorium: https://sofer.info/
- OCR4all: https://www.ocr4all.org/
- OCR-D: https://ocr-d.de/
- Academic Cloud: https://academiccloud.de/de/ – KI-Dienste der Academic Cloud: https://kb.el.uni-leipzig.de/books/generative-ki-in-der-hochschullehre/page/ki-dienste-der-academic-cloud
- Kiessling, B., Tissot, R., Stokes, P., & Stökl Ben Ezra, D. (2019). eScriptorium: An open source platform for historical document analysis. In 2019 International Conference on Document Analysis and Recognition Workshops (ICDARW) (Bd. 2, S. 19–24). IEEE. https://doi.org/10.1109/ICDARW.2019.10032.
- Reul, C., Christ, D., Hartelt, A., Balbach, N., Wehner, M., Springmann, U., Wick, C., Grundig, C., Büttner, A., & Puppe, F. (2019). OCR4all – An open-source tool providing a (semi-)automatic OCR workflow for historical printings. Applied Sciences, 9(22), 4853. https://doi.org/10.3390/app9224853.
8. Ethik & Objektivität
Ethische Herausforderungen bei Begriffen und Fremdzuschreibungen
Bei der Erstellung eines Datensatzes auf Grundlage historischer Quellen wurden die darin vorkommenden Personen mit Begriffen bezeichnet, die nicht den heutigen Vorstellungen von ethisch korrekter Sprache entsprechen.
weiterlesen
Zum Beispiel habe eine als „Mohrin“ bezeichnete Frau im Gebärhaus entbunden – eine Zuschreibung, die dies für den Arzt berichtenswert machte. Dürfen solche Begriffe und Fremdzuschreibungen noch verwendet werden? Wenn ja, wie sollten sie gekennzeichnet werden?
Datenqualitätsproblem
ethische Herausforderungen
Lösung ansehen
Datenethische Überlegungen gewinnen in der Forschungspraxis zunehmend an Bedeutung. Für den Umgang mit diskriminierenden Begriffen in Quellen oder Thesauri existieren verschiedene methodische Ansätze. Die Reflexion über eine möglichst neutrale Sprache sowie die bewusste Wahl einer Methode zur Handhabung sensibler Begrifflichkeiten sind feste Bestandteile der guten wissenschaftlichen Praxis. Im konkreten Fall wurde entschieden, historische Bezeichnungen im publizierten Datensatz beizubehalten, diese jedoch in eine separate Spalte („rassifizierende Bezeichnung“) auszulagern. Dieses Vorgehen sichert die Quellenkritik und Nachvollziehbarkeit, verhindert jedoch eine unkritische Reproduktion der Quellensprache, da der analytische Fokus der Untersuchung auf anderen Kategorien liegt.
Schlagwörter
ethische HerausforderungenFremdzuschreibungenDokumentation
Weiterführende Links
- Beispiel aus der Praxis: Bärwald, A. (2026). Menschen afrikanischer, asiatischer sowie indigen- und afrikanisch-amerikanischer Herkunft im Hamburger Raum, 1760 bis 1840 (Version 4) [Datensatz]. Zenodo. https://doi.org/10.5281/zenodo.18381462.
- Bärwald, A. (2024). Minderheitengeschichten digital: Über den Versuch, prosopografische Daten zu nicht-weißen Menschen im Hamburger Raum aufzubereiten. DH Lab. https://dhlab.hypotheses.org/5756.
- Chlesberg, G., Pravdyuk, A., Körfer, A.-L., & Kliewer, M. (2025). Große Anforderungen an kleine Textfelder. In 4memory Working Paper Series (Version 1-0, Nr. 10). Zenodo. https://doi.org/10.5281/zenodo.17829167.
- Mähr, M., & Schnegg, N. (2025). Handbuch zur Erstellung diskriminierungsfreier Metadaten für historische Quellen und Forschungsdaten (Version 1.0.1). Zenodo. https://doi.org/10.5281/zenodo.17073511.
Bereinigen ist nie neutral
Mir ist bei der Aufbereitung meiner Forschungsdaten aufgefallen, dass wir oft so tun, als würden wir die Daten nur „bereinigen“ oder „strukturieren“. In Wahrheit stellt dieser Prozess einen kontextgebundenen und subjektiven Eingriff dar. So entscheide ich beim Mapping, welche Begriffe ich bestimmten Oberkategorien zuordne.
weiterlesen
Beim Annotieren einer Quelle lege ich fest, was für meine Forschungsfrage relevant ist und was nicht. Jede dieser Entscheidungen ist eine Interpretation bzw. eine Wahl, wessen Perspektive als Standard gilt und welche Konzepte im Rauschen verschwinden.
Datenqualitätsproblem
Intransparenz; Subjektivität; mangelnde Rückverfolgbarkeit; mangelnde Standardisierung
Lösung ansehen
Da auch die Aufbereitung von Forschungsdaten und die mit ihr verbundenen Entscheidungswege nicht objektiv erfolgen, sondern von der Person der oder des Forschenden und dem jeweiligen Forschungsdesign abhängig sind, liegt die Lösung hier in Transparenz. Entscheidungen werden so dokumentiert, dass sie für Dritte nachvollziehbar sind: mit Begründung, mit Verweis auf verwendete Standards oder Referenzwerke und hinterlegt an einem zugänglichen Ort, der eine spätere Einsichtnahme ermöglicht.
Schlagwörter
TransparenzObjektivitätRückverfolgbarkeitStandardisierungDokumentationMapping
9. Datenschutz
Im Hinblick auf den Datenschutz
Auf der Grundlage meiner im Rahmen von Interviews gesammelten Daten habe ich einen Datensatz erstellt, den ich gerne veröffentlichen würde. Da ich jedoch erst seit kurzem im Bereich der Oral History tätig bin, bin ich mir nicht sicher, wie ich personenbezogene Daten darstellen soll bzw. publizieren darf.
Datenqualitätsproblem
fehlender Datenschutz
Lösung ansehen
Datensätze, die personenbezogene Daten enthalten, können in der Regel nicht ohne weiteres publiziert werden. Informationen, die eine Person identifizieren könnten, müssen anonymisiert oder pseudonymisiert werden. Zur Anonymisierung und Pseudonymisierung gibt es verschiedene Leitfäden und Handreichungen. Als Beispiel könnte die Handreichung des Dienstes „Qualiservice“ dienen. Dieser Leitfaden dient zur ersten Orientierung, jeder Einzelfall muss gesondert geprüft werden.
Schlagwörter
AnonymisierungPseudonymisierungDatenschutz
Weiterführende Links
- Mozygemba, K., & Hollstein, B. (2023). Anonymisierung und Pseudonymisierung qualitativer textbasierter Forschungsdaten: Eine Handreichung. Qualiservice Working Papers 5-2023, Bremen. https://doi.org/10.26092/elib/2525.
Schlagwortregister
Die Nummern verweisen auf die jeweilige Problem Story.
- Anonymisierung9.1
- Auffindbarkeit6.16.36.46.8
- Boolesche Werte5.2
- Datenbank3.3
- Dateneingabe6.26.6
- Datenschutz9.1
- Dokumentation1.13.34.38.18.2
- Duplikate2.1
- Einheitlichkeit4.3
- Einzigartigkeit2.1
- ethische Herausforderungen8.1
- Fremdzuschreibungen8.1
- Genauigkeit4.14.24.34.46.5
- GND6.1
- Homogenität3.13.23.36.16.36.66.76.8
- Interoperabilität5.15.25.35.45.56.16.36.56.8
- Konsistenz3.13.23.34.36.16.26.36.66.76.8
- kontrollierte Vokabulare6.16.8
- Koordinaten6.36.4
- leere Felder5.1
- Mapping8.2
- Maschinenlesbarkeit5.15.25.35.45.56.56.77.2
- MIDAS6.5
- Namen4.36.1
- Normdateien6.16.8
- Objektivität8.2
- OCR/ATR7.2
- OpenRefine2.1
- Orte6.36.4
- Pseudonymisierung9.1
- Qualitätskontrolle1.1
- Rückverfolgbarkeit3.38.2
- Software7.1
- Sprachen6.6
- Standardisierung3.36.16.26.56.66.76.88.2
- strukturierte Daten4.45.45.57.17.2
- Strukturierung4.45.45.57.1
- Tabellen7.17.2
- Tools7.1
- Transkription4.3
- Transliteration4.36.7
- Transparenz8.2
- unstrukturierte Daten7.2
- VIAF6.1
- Vollständigkeit4.14.2
- Zusammenarbeit1.1
Zitationsvorschlag
Wir schlagen Ihnen vor, diesen Beitrag wie folgt zu zitieren:
Datenqualitätsprobleme und mögliche Lösungsansätze beim Umgang mit historischen Daten. Anna Pravdyuk, Sera Ria Gomes & Peggy Große (2026, August). Veröffentlichungen zur Datenqualität in den historischen Wissenschaften. https://datenqualitaet.org/ressourcen/datenqualitaetsprobleme/
Die Inhalte stehen unter der Lizenz CC BY 4.0.