Gå til sidens indhold

Fælles sprog for datakvalitet

Version 2.0.0 Udgivet Opdateret

Introduktion

Indledning

Fælles sprog for datakvalitet er en fællesoffentlig metode til at beskrive datakvalitet, der er neutralt i forhold til sektorer og anvendelsessituation. Det giver dataudstillere et begrebsapparat til at beskrive kvaliteten af de data, de udstiller, og det giver anvendere et grundlag for at vurdere, om et datasæt er egnet til deres konkrete formål. Formålet er at facilitere dialog mellem dataudstillere og -anvendere og lette deling og genbrug af data på tværs af myndigheder og sektorer ved at gøre kvalitetsoplysninger sammenlignelige og forståelige.

NOTE: Metoden er udviklet til brug i dansk fællesoffentlig sammenhæng på baggrund af internationale standarder, nemlig W3Cs Data on the Web Best Practices: Data Quality Vocabulary (åbner i ny fane) og ISO 25012 Software engineering – Software product Quality Requirements and Evaluation (SQuaRE) – Data quality model (åbner i ny fane). Dette er den 2. version af metoden, og en beskrivelse af ændringer kan ses i bilag A.

ISO 25012 definerer datakvalitet som ”grad af tilfredsstillelse af udtrykte og underforståede behov datas egenskaber giver ved brug under specifikke omstændigheder”. Selvom der findes mange andre definitioner af datakvalitet, er der i disse gennemgående et fokus på datas egnethed i en bestemt brugssituation – ’fitness for use’. Baggrunden for dette er at data der er velegnede til et formål, og derfor vil blive anset som værende af høj kvalitet af anvendere der bruger dem til dette formål, kan være uegnet til et andet formål, hvorfor andre anvendere vil anse de samme data for at være af lav kvalitet.

Det er altså kun anvender der kan vurdere om datakvaliteten er god. Ikke desto mindre, kan dataejer eller -udstiller - ud fra sit kendskab til data, indsamlingsmetode og det faglige domæne de tilhører, give relevante og vigtige oplysninger om datakvalitet. Disse oplysninger kan så hjælpe en (potentiel) anvender med at afgøre hvor høj kvaliteten er i forhold til deres specifikke anvendelse.

Introduktion

Scope

Den metode til beskrivelse af datakvalitet, der er beskrevet i denne vejledning, er først og fremmest beregnet til at facilitere dialog mellem den dataansvarlige organisation og (potentielle) dataanvendere ved at anvise et fælles, entydigt sprog om datakvalitet.

Metoden er primært beregnet til at forsyne udstillede datasæt med metadata om kvalitet. Den forventes dog også at kunne anvendes til vurdering af data i forhold til en specifik anvendelse. Metoden er beregnet til beskrivelse og bedømmelse af datasæt, hvor datasæt skal forstås som ”en samling af data, udstillet eller forvaltet af en enkelt aktør.”

Den er ikke beregnet til at være en metode til forbedring af datakvalitet, da metoder til dette varierer i forhold til datas karakter, men dialog med anvendere kan være et redskab til at identificere hvilke forbedringsindsatser der er behov for.

Ligeledes er metoden ikke beregnet til i sig selv at afgøre hvordan data kan anvendes i den offentlige forvaltning, da der i denne vurdering indgår juridiske og forvaltningsmæssige aspekter som ikke behandles her. Metadata om kvalitet baseret på denne metode forventes dog at kunne indgå som input til en sådan vurdering.

Introduktion

Indhold

Datakvalitet kan beskrives i forhold til mange forskellige dimensioner som repræsenterer kriterier der er relevante for at vurdere datakvalitet. Hver dimension har tilknyttet en eller (oftest) flere standardiserede normer – metrikker - for hvordan man måler/beskriver datakvalitet i forhold til dimensionen.

Fælles sprog for datakvalitet definerer i alt otte kvalitetsdimensioner, heraf fire kernedimensioner. Kernedimensioner formodes at være relevante for stort set alle typer af data og i forbindelse med stort set alle anvendelser, og det anbefales at alle data der udstilles for at kunne bruges af andre beskrives i forhold til disse dimensioner.

  • Komplethed

  • Korrekthed

  • Aktualitet

  • Forståelighed

Derudover er der defineret fire supplerende dimensioner, der selvom de ikke er relevante for alle data eller for alle anvendelser, har en bred relevans og derfor er gode at have en fælles forståelse af.

  • Repræsentativitet

  • Konsistens

  • Præcision

  • Relevans

Hver af disse dimensioner defineres og beskrives i det følgende, og for de supplerende dimensioner angives hvornår de vurderes at være relevante at anvende.

Kernedimensioner

Komplethed

Definition

datakvalitetsdimension der indikerer i hvor høj grad datasættet indeholder de dataelementer der er forventede i forhold til datasættets specifikation.

Beskrivelse

Der er to aspekter af komplethed: Fuldstændighed og dækningsgrad. Et fuldstændigt datasæt indeholder netop én registrering for hvert individ i den population datasættet skal beskrive. Når der for hvert individ desuden er registreret alle de forventede/krævede oplysninger om individets egenskaber og relationer til andre individer er det også helt dækkende.

Med andre ord er fuldstændighed altså komplethed i forhold til de eksisterende registreringer og dækningsgrad er komplethed i forhold til de ønskede informationer om registreringerne.

Relevante målinger og beskrivelser

Fuldstændighed: For nogle datasæt vil det forventede antal af individer være kendt, fx hvis der er tale om kommuner eller regioner. Her er fuldstændigheden simpel at udregne og kan angives som procent af unikke individer der findes i datasættet i forhold til antal individer der burde findes.

For andre er antallet af individer datasættet bør indeholde ukendt og/eller foranderligt, fx i et datasæt om observationer af en truet dyreart i naturen. Her må man lave et fagligt estimat af hvor stor en andel af de observationer der faktisk er foretaget datasættet indeholder, evt. angivet som et interval, fx ’ca. 75-85 % ‘. Desuden bør baggrunden for estimatet, fx sammenligning med andre kilder for antallet, matematiske modeller, stikprøvekontrol, eller feedback fra anvendere, beskrives.

NOTE: Det er datasættets specifikation der afgør hvad den forventede population er. At der eventuelt eksisterer yderligere data som kunne ønskes inkluderet i datasættet, er ikke relevant hvis specifikationen ikke inkluderer disse.

Dækningsgrad: Dækningsgraden af en egenskab (specifik type af information) angives med procentdelen af registreringer i datasættet der har en værdi registreret for egenskaben, fx hvor mange registreringer der har et bestemt felt udfyldt. Et datasæts dækningsgrad kan angives som et gennemsnit af dækningsgraderne for de krævede egenskaber. Egenskaber som er tydeligt indikeret som valgfri i datasættets specifikation indgår ikke.

Er der betydelig forskel på hvor væsentlige egenskaberne er i forhold til de væsentligste forventede anvendelser kan man vælge at angive dækningsgraden for de væsentligste egenskaber i stedet. Det skal være tydeligt hvilken metode der er valgt, og hvilke egenskaber der er medregnet, hvis det ikke er alle.

Det kan også være relevant at beskrive hvilke informationer der mangler i det omfang man ved det, fx hvis der er brud i en tidsserie, et specifikt geografisk område der mangler registreringer fra eller lignende.

Eksempler

Et datasæt om kommunale handlingsplaner på socialområdet skal indeholde data om alle kommuner, dvs. om netop 98 kommuner/forekomster. Hvis det kun indeholder 96 kommuner, er det ikke fuldstændigt, men har en fuldstændighed på 97,96 %.

Hvis der for hver handlingsplan skal angives en ansvarlig enhed, men dette mangler for 4 ud af 96 handlingsplaner, har datasættet en dækningsgrad på 95,83 % for ’ansvarlig enhed’. Hvis datasættet har dækningsgrader på henholdsvis 100 %, 98,43 %, 99 % og 74,50 % for andre krævede egenskaber, er datasættes gennemsnitlige dækningsgrad gennemsnittet af disse fem dækningsgrader, nemlig 93,55 %.

Kernedimensioner

Korrekthed

Definition

datakvalitetsdimension der indikerer i hvor høj grad dataværdier er i overensstemmelse med faktiske værdier.

Beskrivelse

Værdier i datasættet skal være sande og korrekt repræsentere den virkelighed datasættet omhandler. Der er to aspekter, henholdsvis semantisk og syntaktisk korrekthed. Semantisk korrekthed betyder at der er overensstemmelse mellem indholdet af de data der er registreret og faktiske forhold (indholdsmæssig korrekthed). Syntaktisk korrekthed betyder at data overholder syntaktiske regler, herunder regler for retstavning samt regler for anvendte strukturerede formater (formmæssig korrekthed).

Relevante målinger og beskrivelser

Korrekthed angives som andelen af dataværdier der korrekt repræsenterer den faktuelle værdi. I praksis vil det som oftest være umuligt at tjekke korrektheden af alle dataværdier i et datasæt. Derfor vil man som oftest angive et skøn (evt. angivet som interval). Dette skøn kan fx være baseret på stikprøvekontroller, sammenligninger med andre datakilder, oplysninger fra dataleverandører eller hyppighed af fejlrapportering. Grundlaget for skønnet angives.

Desuden kan andre forhold der har relevans for datas korrekthed beskrives kort, herunder om

  • data er underlagt valideringsprocedurer, enten inden det optages i datasættet eller løbende

  • der er procedurer der sikrer at fejl der opdages under brug rettes

  • der er foretaget stavekontrol

  • der er anvendt datavask eller andre procedurer der retter/ændrer data

  • der – hvis data er angivet i strukturerede formater, herunder xml, html eller rdf - er foretaget validering af at data overholder den/de relevante specifikation(er) (syntaks- og skemavalidering)

Eksempler

Semantisk korrekthed: En registrering af at en sportsfacilitet som værende en skøjtehal, hvis det i virkeligheden er en svømmehal, eller hvis pågældende svømmehal er registreret som havende handicapvenlige omklædningsfaciliteter uden at sådanne reelt findes, ville være eksempler på semantisk ukorrekthed.

Syntaktisk korrekthed: ’svoemmehal’ følger ikke dansk retstavning og er dermed syntaktisk ukorrekt.

Kernedimensioner

Aktualitet

Definition

datakvalitetsdimension der indikerer i hvor høj grad data er tidmæssigt aktuelle i forhold til den virkelighed de repræsenterer.

Beskrivelse

Et datasæt har høj aktualitet, når man (ved brug af nyeste tilgængelige version) kan stole på at det repræsenterer det der faktisk aktuelt er sandt på brugstidspunktet. Aktualitet afhænger af datasættets opdateringsfrekvens i forhold hvor ofte data ændrer sig.

Relevante målinger og beskrivelser

Nogle datasæt opdateres periodisk med faste intervaller, mens andre opdateres efter behov når der sker ændringer i det som datasættet repræsenterer.

For periodisk opdaterede datasæt angives opdateringsfrekvensen, dvs. hvor lang tid der går mellem opdateringer. Desuden beskrives hvor ofte data typisk ændrer sig. Jo sjældnere data ændrer sig, jo lavere opdateringsfrekvens vil i mange sammenhænge være rimelig samtidig med, at aktualiteten stadig kan anses for at være høj. Dette skal dog ikke være en fast regel, da det også skal vurderes i forhold til datas art og hvor kritisk det er for de forventede anvendelser at data er opdaterede.

Hvis datasættet opdateres efter behov, angives hvor lang tid der typisk går fra en ændring sker til denne er blevet registreret og publiceret. Man bør opgive tidsrummet så præcist som man kan, men samtidig med den fleksibilitet der er nødvendig. Så 1 time, 3-7 dage, op til 14 dage og ca. 4 måneder er alle acceptable angivelser af tidsrum. Hvis der er forskel på længe der går inden forskellige typer af ændringer registreres/publiceres beskrives dette.

Tidsrummet skal ideelt set angives fra ændringen faktisk sker til den er blevet registreret og publiceret. Der kan dog være situationer, hvor tidsrummet mellem at en ændring sker i den virkelige verden og ændringen observeres eller indmeldes er for variabelt til at dette kan dokumenteres meningsfuldt. I så fald kan tidsrummet beregnes fra informationen modtages og til den er blevet registreret og publiceret. Man skal så angive at det er beregnet på denne måde.

NOTE: Skulle man have et datasæt bestående af data der ikke ændrer sig (inden for en relevant tidsramme), fx visse geologiske data, angiver man at dette er tilfældet. Aktualiteten af sådanne data vil selvfølgelig kunne bedømmes til 5 stjerner.

Eksempler

Man kan fx angive at

  • der sker ændringer i data flere gange dagligt og den publicerede version af datasættet opdateres en gang i døgnet

  • ændringer publiceres inden for en uge fra indrapportering, og at 90% af dataleverandører indrapporterer ugentligt, mens resten kun indrapporterer månedligt

  • der oftest går årevis mellem at dataværdier ændrer sig og at datasættet opdateres hver 3. måned

Kernedimensioner

Forståelighed

Definition

datakvalitetsdimension der indikerer i hvor høj grad data er repræsenteret på en måde der er læselig og forståelig for brugerne

Beskrivelse

Forståelighed handler om, at en anvender kan læse, fortolke og bruge data uden at skulle gætte sig til betydning, struktur eller oprindelse. Det forudsætter, at data er udtrykt i et sprog og format der er tilgængeligt for målgruppen, og at datasættet er forsynet med dokumentation der gør det muligt at sætte data ind i en faglig og teknisk sammenhæng.

Forståelighed er en kerneforudsætning for at data kan genbruges på tværs af organisationer og anvendelser. Et datasæt med høj indre datakvalitet bliver alligevel vanskeligt at anvende, hvis modtageren ikke kan afgøre, hvad værdierne betyder, hvilke koder der bruges, eller hvordan data er blevet til.

En del af forståeligheden ligger i selve dataværdierne: at de anvender forståelige termer, anerkendte klassifikationer og ensartede formater. En anden del ligger i dokumentationen omkring datasættet, herunder datamodel, begrebsdefinitioner og metadata om datasættets oprindelse og forvaltning. Metadata bidrager til forståelighed ved at give anvender den kontekst der er nødvendig for at fortolke data korrekt.

Høj forståelighed reducerer behovet for forhåndskendskab til det specifikke datasæt og den specifikke organisation der har frembragt det. At fagligt komplekst indhold kræver en vis faglig baggrund for at kunne anvendes meningsfuldt, er dog et vilkår, ikke i sig selv et udtryk for lav forståelighed.

Relevante målinger og beskrivelser

Forståelighed er svært at måle kvantitativt, men man bør overveje, og hvor relevant beskrive, nedenstående forhold.

Data

Anvendte dataværdier er forståelige når de er entydige, læselige og genkendelige. Overvej derfor om

  • koder og forkortelser er erstattet med forståelig tekst (eller som minimum forklaret)

  • der er anvendt fælles, standardiserede termer og klassifikationer

  • tekstværdier er på dansk eller et andet egnet sprog

  • måleenheder er standardiserede og tydeligt angivne

  • der er anvendt ensartede og dokumenterede formater

  • datasættet overholder relevante standarder for dokumentation og formater

  • datasættet, hvor relevant, indeholder oplysninger om dataelementers historik (registreringsdato, virkningsdato, registreringsaktør)

Dokumentation

Selv når dataværdier er forståelige, kan ledsagende dokumentation være nyttigt eller endda nødvendigt for at forstå data og hvordan det kan anvendes. Overvej derfor om der er tilgængelig og forståelig dokumentation, der tydeliggør dets struktur, oprindelse og betydningen af indholdet. Dette inkluderer

  • en datamodel, der

    • indeholder indholdsmæssige definitioner for alle dataelementer

    • specificerer anvendte klassifikationer, og for klassifikationer med flere detaljeringsniveauer, hvilket niveau der anvendes

    • specificerer anvendte datatyper i forhold til format, anvendte enheder og anvendt præcisionsniveau

    • dokumentation af relevante forretningsregler

    • gerne er maskinlæsbar

  • Metadata om datasættet, herunder oplysninger om

    • titel på og beskrivelse af datasættet

    • hvem der er ansvarlig for indsamling og opdatering af data

    • kontaktpunkt til at give feedback og stille spørgsmål om datasættet

    • datas proveniens (dvs. datas oprindelse og dets vej til optagelse i datasættet)

    • seneste opdateringsdato, versionsnummer og versionshistorik

    • kvalitetssikrings- og fejlretningsprocedure

    • relevante love og standarder datasættet overholder

    • hvorvidt datasættet indeholder personfølsomme eller fortrolige oplysninger

    • licens (hvem må bruge data til hvad)

Se bilag E for en diagramvisning af de forslåede metadata, samt DCAT-AP-DK for yderligere oplysninger om metadata og beskrivelse af datasæt.

Eksempler

Hvis nogle dataværdier af samme type er angivet med én decimal og andre med to, kan der opstå tvivl om, hvorvidt 34,1 betyder præcis det samme som 34,10, eller om der er tale om en afrunding eller en mindre præcis måling.

Anerkendte bogstavsforkortelser eller landenavnet er skrevet ud i sin helhed er væsentligt nemmere at forstå end numeriske landekoder.

Et datasæt uden proveniensoplysninger kan være svært at vurdere fagligt, selvom selve dataværdierne er klare, fordi anvender ikke kan se, hvordan data er kommet ind i datasættet og dermed hvilke forbehold der bør tages.

Indenfor sundhedssektoren er ICD-10-diagnosekoder velkendte, og brugen af disse øger derfor forståeligheden af datasæt, der indeholder diagnoser.

Et kolonne- eller feltnavn som ’status’ bliver først forståeligt, når en datamodel specificerer hvad det er status for, hvilke værdier det kan have, og hvad disse betyder.

Supplerende dimensioner

Repræsentavitet

Definition

datakvalitetsdimension der indikerer i hvor høj grad datasættet afspejler sammensætningen af den gruppe individer datasættet repræsenterer

NOTE: I denne sammenhæng skal individ forstås bredt som en konkret eller abstrakt ting der skal registreres i datasættet. Det kan være et individ i ordets traditionelle forstand, men også en organisation, en genstand, en oplysning, en begivenhed, en observation mm. Population er den gruppe af individer man gerne vil registrere information om.

Beskrivelse

For at beskrive repræsentativitet skal man først vurdere, hvilke kategorier det er relevant at inddele de individer der er registreret i datasættet efter. Omhandler datasættet personer kunne relevante kategorier være alder, køn, uddannelsesniveau, etnicitet eller bopælsregion. For et datasæt om bygninger kunne det være anvendelse, opførelsesår, primære byggemateriale eller tagtype.

Hvilke kategorier der er relevante, afhænger af en faglig vurdering af datasættets indhold og formål. Formodentligt vil det være forskellige egenskaber om personer der er interessante i forhold til en trafikanalyse og en indkomstanalyse, hvilket sandsynligvis også vil være afspejlet i hvilke kategorier der overhovedet er indsamlet eller inkluderet oplysninger om i datasættet. Man kan i sagens natur ikke vurdere repræsentativitet i forhold til kategorier man ikke har oplysninger om.

Dernæst skal man vurdere om, hvorvidt distributionen, altså fordelingen mellem de forskellige kategorier, af individtyper i datasættet procentmæssigt svarer til den virkelige distribution i den population datasættet skal beskrive.

Kombinationen af kategorier har også betydning for repræsentativitet. Selv om et datasæt har en fordeling på både køn og alder, der svarer til befolkningen generelt, er det mindre repræsentativt hvis 80% af respondenter over 50 år er kvinder, mens mænd er tilsvarende overrepræsenterede blandt dem under 50.

Det er værd at bemærke at sammensætningen af en given population kan ændre sig over tid. Dermed kan hvor repræsentativt et datasæt er i forhold til populationen også ændre sig. For datasæt der udgives en gang, må beskrivelsen af repræsentativitet forventes at være gældende på udgivelsestidspunktet. For datasæt der opdateres og tilgås løbende, må beskrivelsen forventes også at være løbende opdateret medmindre andet eksplicit angives.

Afgrænsning

Repræsentativitet handler om statistisk distribution. Et relateret, men alligevel separat spørgsmål er om alle relevante kategorier - og kombinationer af kategorier - er tilstrækkeligt dækket til en given anvendelse. Et datasæt kan fx være repræsentativt, men ikke indeholde tilstrækkelige instanser af specifikke individtyper til anvendelsen.

Hvornår er dimensionen relevant

Man hører især om repræsentativitet i forhold til mennesker, pga. risikoen for at manglende repræsentation resulterer i diskrimination og bias mod bestemte befolkningsgrupper. Det er dog også vigtigt for datasæt om fx bygninger, virksomheder, dyrearter, vejrforhold eller fejl i tekniske anlæg, hvor sammensætningen af typer i datasættet skal afspejle den virkelighed datasættet skal repræsentere.

Dimensionen er særligt vigtig, når datasættet beskriver en delmængde af den population det skal sige noget om, fx når data er indsamlet via stikprøver, frivillige indberetninger, eller målinger fra et begrænset antal målestationer. I disse tilfælde er der altid en risiko for, at datasættet er skævt sammensat ift. den virkelighed det skal repræsentere. En tommelfingerregel er at hvis man ved design og indsamling af datasættet har haft overvejelser om repræsentativitet eller hvordan man opnår den rette sammensætning, så er det i hvert fald også relevant at beskrive dimensionen som en del af en kvalitetsbeskrivelse.

Repræsentativitet er mindre relevant for datasæt der er tilsigtet at være fuldtællinger af en population, fx et register over alle kommuner i Danmark, eller alle aktive CVR-numre. Undtagelsen kan være hvis problemer med komplethed af datasættet hænger sammen med specifikke kategorier af individer, fx at det kommunale register mangler krævede oplysninger for en del af de mindste kommuner.

NOTE: Et datasæt kan være en fuldtælling af en population, men samtidigt beskrive en delmængde af en større population. Fx vil et datasæt over alle aktuelle foreninger i en kommune være en fuldtælling, men set fra et nationalt perspektiv kan det være mere eller mindre repræsentativt

Relevante målinger og beskrivelser

En forudsætning for at forstå, hvad et datasæt er – eller ikke er – repræsentativt i forhold til, er at vide hvilken population det tilsigter beskrive. Denne information kan dog komme fra anden metadata, fx beskrivelse eller datamodel.

Selve beskrivelsen af repræsentativitet skal indeholder hvilke kategorier – og kombinationer af kategorier – repræsentativitet er vurderet i forhold til. For en spørgeskemaundersøgelse blandt universitetsstuderende kunne kategorierne være hvilket universitet, bachelor- eller kandidatstuderende, og om de læser humaniora, teknologi, samfunds-, natur- eller sundhedsvidenskab.

Herefter beskrives forholdet mellem fordelingen i den samlede population og i datasættet efter bedste evne, fx 73% af besvarelserne er fra bachelorstuderende, der udgør 68% af de studerende. Fra Syddansk Universitet er det 89% af besvarelserne, der er fra bachelorstuderende.

Kender man ikke fordelingen af en kategori i den faktiske population beskrives kendte problemstillinger og usikkerheder. Dette er det vigtigste element. Det kan fx være, at måleudstyret er mindre præcist ved høje temperaturer, at personer udenfor arbejdsmarkedet er overrepræsenterede blandt respondenter i en spørgeskemaundersøgelse, at en bestemt branche er underrepræsenteret i et registerudtræk, eller at sjældent forekommende fejltyper kun er sporadisk registreret. Indsamlingsmetoden er relevant her, fordi mange problemstillinger og usikkerheder udspringer af den. Eventuelle mitigerende tiltag bør også beskrives.

Eksempler

Kommunal spørgeskemaundersøgelse om transportvaner: Repræsentativitet er vurderet ift. køn, alder og bopælsdistrikt. Borgere over 65 år er overrepræsenterede med 10%, mens borgere under 30 år er underrepræsenterede med 8%. Borgere i bydistrikt Vest er underrepræsenterede med 7% som er proportionelt fordelt mellem de andre bydistrikter.

Kommunale bygningers energiforbrug: Datasættet dækker 92% af kommunens bygningsmasse. De resterende 8%, der ikke er tilsluttet det centrale energistyringssystem, er primært mindre, ældre bygninger uden fjernaflæsning, der dermed er underrepræsenterede i datasættet.

Anmeldte arbejdsulykker: Repræsentativitet er vurderet ift. branche, virksomhedsstørrelse og ulykkestype. Det er kendt, at anmeldelseskulturen varierer, og bygge- og anlægsbranchen samt landbruget har en lav anmeldelsesgrad. Arbejdsulykker der ikke medfører uarbejdsdygtighed er ikke anmeldepligtige og må derfor forventes at være underrepræsenterede.

Supplerende dimensioner

Konsistens

Definition

datakvalitetsdimension der indikerer i hvor høj grad data er fri for modsigelser og er sammenhængende med andre data

Beskrivelse

Konsistens handler om, at data i et datasæt er logisk sammenhængende og kan fortolkes utvetydigt. Det vil sige, at datasættet følger faste mønstre, hvilket inkluderer at det

  • ikke indeholder modstridende oplysninger

  • kun har gyldige interne referencer, fx fremmednøgler (referentiel integritet)

  • informationer af samme type angives ensartet

  • overholder sin specifikation/datamodel

Manglende konsistens kan fx opstå, hvis samme oplysning vedligeholdes flere steder og kan opdateres uafhængigt, hvis forskellige dele af datasættet er produceret med forskellige regler, eller hvis specifikationen er ændret over tid uden at eksisterende data er opdateret.

Man kan også tale om konsistens på tværs af datasæt når datasæt skal sammenstilles. Hvis samme entitet betegnes forskelligt i to datasæt, eller hvis værdier af samme type er angivet i forskellige enheder, kan det vanskeliggøre sammenstillingen, selv hvis hvert datasæt isoleret set er konsistent. Dette har ejer af et enkelt datasæt ofte svært ved at forudse eller beskrive. Det er dog er det relevant at overveje om der er sammenstillinger der ofte laves, samt hvad det er af praksis inden for et datadomæne. Hvis standard inden for et domæne er at angive måleværdier i milliliter, bliver dette mere konsistent end at angive måleværdier i centiliter. Anvendelse af fælles identifikatorer, så som CVR-nummer, giver også øget konsistens.

Afgrænsning

Der er en stærk sammenhæng mellem konsistens og både korrekthed og forståelighed. Modstridende oplysninger eller ugyldige referencer betyder ofte også at noget er ukorrekt, og manglende ensartethed påvirker også forståelighed. Forskellen ligger i, at der ved konsistens er fokus på datasættets struktur og sammenhæng, og deraf følgende mulighed for at anvende datasættet systematisk, fx ved brug at automatiske regler. Et datasæt kan også være korrekt og forståeligt på niveau af de enkelte værdier, men være svært at anvende, hvis anvender ikke kan stole på, at data følger faste mønstre.

Hvornår er denne kvalitetsdimension relevant?

Konsistens er især relevant for strukturerede data, der behandles systematisk og kobles med andre data. Det gælder typisk registerdata, transaktionsdata, måledata og lignende.

Konsistens er ofte mindre relevant for datasæt bestående af ustrukturerede data, fx tekst- og billedsamlinger til træning af kunstig intelligens, eller samlinger af dokumenter der primært bruges enkeltvis. Her kan interne modsigelser i indholdet være en naturlig del af materialet snarere end et kvalitetsproblem. Hvis samlingen indeholder metadata om de enkelte dele eller filer, fx til brug for fremsøgning og kategorisering, er konsistens i disse dog stadigt relevant.

Relevante målinger og beskrivelser

Konsistens kan beskrives ved at gennemgå en række forhold ved datasættet. Man bør overveje og, hvor relevant, beskrive følgende elementer:

Overholdelse af datamodel og datatypespecifikationer: Overholder data datasættets datamodel, herunder specifikationer af datatyper, udfaldsrum og enheder?

Overholdelse af forretningsregler: Overholder data de forretningsregler der gælder for datasættet? Eksempler kan være, at en startdato ikke må ligge efter en slutdato, eller at der skal være netop én ansvarlig enhed per projekt.

Ensartet angivelse af data af samme type: Er data af samme type, fx datoer, navne eller adresser, angivet på samme måde i hele datasættet? Hvis et navn nogle steder er angivet som "fornavn efternavn" og andre steder som "efternavn, fornavn", kan det vanskeliggøre systematisk behandling.

Konsistent anvendelse af klassifikationer: Anvendes valgte klassifikationer ensartet i hele datasættet, herunder på samme detaljeringsniveau, hvor det er muligt?

Referentiel integritet: Hvis der refereres til information andre steder i datasættet, eksisterer den refererede information da reelt? I en relationel database vil det betyde, at fremmednøgler skal pege på poster der findes.

Fravær af modstridende informationer: Indeholder datasættet modstridende oplysninger om samme entitet? Modstridende informationer kan opstå, hvis samme oplysning er angivet flere steder og kan opdateres uafhængigt, eller hvis samme entitet refereres til på forskellige måder, fx både med fuldt navn og med en lokal forkortelse.

Overholdelse af relevante standarder: Overholder datasættet relevante standarder for indhold og regler? Set fra et konsistensperspektiv handler dette om, at data følger fælles regler og dermed er sammenhængende med andre data der følger samme standarder.

Eksempler

Hvis et datasæt indeholder en post med startdato 15. marts 2023 og slutdato 1. januar 2023, er der tale om brud på en forretningsregel om, at slutdato ikke må ligge før startdato.

Hvis betegnelserne "Erhvervsstyrelsen" og "ERST" bruges om samme organisation forskellige steder i datasættet uden at det fremgår, at der er tale om samme entitet, opstår der inkonsistens, der gør det svært at samle alle oplysninger om organisationen ved automatiseret behandling.

Hvis en persons emailadresse er registreret to steder i samme datasæt, og kun det ene sted er opdateret, indeholder datasættet modstridende oplysninger om personen.

Hvis et datasæt over kommunale projekter anvender FORM-koden "06.38.10 Digital infrastruktur" for nogle projekter og "06.38 Samfundsdigitalisering" for andre projekter inden for samme område, uden at forskellen afspejler en faktisk forskel i projekternes karakter, er anvendelsen af klassifikationen inkonsistent.

Hvis et datasæt over igangværende byggesager refererer til en ansvarlig sagsbehandler via et medarbejder-id, men dette id ikke findes i den tilhørende medarbejdertabel, er der brud på referentiel integritet.

Supplerende dimensioner

Præcision

Definition

datakvalitetsdimension der indikerer i hvor høj grad værdier i datasættet er detaljerede nok til at skelne mellem forskellige forhold

Beskrivelse

Et datasæts præcision hænger sammen med hvilken detaljeringsgrad data har. Det er ofte vigtigt i forbindelse med målinger/opmålinger. Her kan præcision være et spørgsmål om hvilken måleenhed man bruger, og hvor mange decimaler der er med. I andre sammenhænge kan præcision være et spørgsmål om hvor mange pixels, der er i fotos eller scanninger, på hvilket niveau tidspunkter er angivet, eller hvor finkornet kategorisering eller opmærkning af data er.

Ved højere præcision er der mere information tilgængelig for anvender af data. Hvilket præcisionsniveau der er ideelt, afhænger af anvendelsen. Mere information kan, så længe den er pålidelig, give et bedre beslutningsgrundlag, men kan også tilføje uønsket kompleksitet. I forbindelse med maskinlæring kan for lav præcision skjule mønstre i data, mens unødigt høj præcision kan føre til overfitting eller spild af ressourcer uden at tilføre reel værdi. Dog kan anvender typisk reducere præcision i data, men har ingen muligheder for at øge den.

Hvornår er denne kvalitetsdimension relevant?

I jo højere grad de data der er de centrale i datasættet kan siges at være mere eller mindre præcise, jo mere relevant er præcision som datakvalitetsdimension.

Præcision er fx relevant i forhold til datasæt, hvor den centrale information i datasættet består af målinger. Det kan fx være geografiske opmålinger, målinger af luft- og vandkvalitet, målinger i blodprøver el.lign. Det vil også være relevant ift. til billeddata, herunder fotos, MR-scanninger, røntgenbilleder mm, samt i forhold til tidsangivelser og hierarkiske klassifikationer.

Det er ikke relevant at tale om præcision for alle typer af data. Det giver normalt ikke mening at beskrive fritekstdata, så som notater eller betegnelser, som mere eller mindre præcise. Identifikatorer, sandt/falskt-værdier og værdier fra flade valglister vil være rigtige eller forkerte, ikke mere eller mindre præcise. Hvis en del af den forventede information mangler, handler der ikke om præcision, men om komplethed eller evt. korrekthed. Fx er en postadresse med manglende angivelse af vejnummer ikke upræcis, men fejlbehæftet. Dimensionen vil typisk være mindre relevant for datasæt, hvor den centrale information er tekst, fx afgørelser, eller entiteter og deres relationer, fx oversigter over faciliteter og ressourcer.

Relevante målinger og beskrivelser

For datatyper, hvor præcision er relevant, angives den præcision data har for hver relevant datatype, fx

  • måleenhed og antal decimaler.

  • Opløsning, fx som antal af pixels eller hvad en pixel repræsenterer

  • tidslige niveau, fx år, dato, minut eller sekund

  • anvendt niveau eller niveauer i hierarkiske klassifikationer

Hvis datasættet indeholder data af samme type med varierende præcision, angives dette, herunder den laveste præcision der findes i datasættet, og hvis muligt fordelingen af værdier på præcisionsniveauer.

Eksempler

Længdeopmålinger kan fx have en præcision på nærmeste meter (1 m), meter med en decimal (1,3 m) eller meter med to decimaler (1,34 m), som svarer til en præcision på nærmeste centimeter.

Et datasæt med ortofotos, hvor opløsningen er sådan, at hver pixel repræsenterer 16 cm², er mere præcist end et hvor hver pixel repræsenterer 32 cm².

For klassifikationer med flere lag er det mere præcist at anvende de mere specifikke niveauer. For FORM-koder er '06.38.10.10 Arkitektur for den digitale infrastruktur' mere præcis end '06.38.10 Digital infrastruktur', som igen er mere præcis end '06.38 Samfundsdigitalisering'. Ligeledes er 'DL20.8D Atopisk håndeksem' mere præcis end 'DL20 Atopisk eksem' ved anvendelse af ICD-diagnosekoder.

Et tidspunkt angivet som "2024-03-15 14:23:07" er mere præcist end "2024-03-15", som igen er mere præcist end "marts 2024".

Det er mere præcist at beskrive en persons alder ved fødselsår end at tildele vedkommende en alder mellem 40 og 45 år, eller at inddele respondenter efter postnummer fremfor kommune, selvom der kan være gode grunde til at vælge den mindre præcise metode.

Supplerende dimensioner

Relevans

Definition

datakvalitetsdimension der indikerer i hvor høj grad datasættets indhold modsvarer behovet i en given anvendelse

Beskrivelse

Relevans handler om, hvorvidt et datasæt kan opfylde de specifikke behov og krav, der er i en bestemt anvendelsessituation. Det vil sige, om det indeholder data af den rette type til at løse en opgave, forudsat at det også er af tilstrækkelig kvalitet i forhold til andre kvalitetsdimensioner.

Relevante datasæt har det rette informationsindhold, dvs. den rette viden i et format der er anvendeligt til opgaven, og til nogle anvendelser er det også vigtigt, at information om de rette individer eller objekter er inkluderet i datasættet.

Ved maskinlæring handler relevans om, hvorvidt de egenskaber og værdier der er med i træningsdata, er gode indikatorer for det man ønsker at forudsige. Desuden er det til nogle typer af maskinlæring vigtigt, at data har relevante opmærkninger.

Irrelevant data, inklusive irrelevante opmærkninger, kan få en model til at udlede sammenhænge der reelt ikke eksisterer, og kan være en kilde til uønsket bias. Udover at give støj i forhold til ønskede resultater kan irrelevant data, især i større mængder, påvirke performance og ressourceforbrug.

Afgrænsning

Hvis der mangler data der skal bruges til en givet anvendelse, kan det være et spørgsmål om manglende komplethed, hvis data burde have været i datasættet, eller manglende relevans, hvis data ikke opfylder behovet. Hvis man fx vil i kontakt med kunder af et specifikt vandværk, men en dårlig registreringspraksis har medført, at man mangler kontaktoplysninger på 20%, er der tale om manglende komplethed. Hvis man derimod har et datasæt der i overensstemmelse med specifikationen indeholder kontaktoplysninger på alle med et kontraktforhold, men man har brug for også at komme i kontakt med alle, der reelt bruger vandet fra pågældende vandværk, er der tale om manglende relevans.

Når det gælder en vurdering af om datasættet indeholder de rette individer, adskiller relevans sig fra repræsentativitet ved at relevans handler er hvad der skal bruges til en specifikke opgave, fx om det er ”kunder af vandværk X”, hvor kun tilstedeværelse af kundeforholdet afgør relevans. Repræsentativitet handler om hvorvidt en gruppe af individer korrekt repræsenterer en større gruppe således at den kan bruges til at lave valid statistik, herunder maskinlæring.

Hvornår er denne kvalitetsdimension relevant?

Vurdering af relevans kan udelukkende ske i forbindelse med en konkret anvendelse. Det er derfor dataanvendere, ikke dataudstillere, der vurderer og beskriver relevans.

En vurdering af relevans er en del af at afgøre om et datasæt eller samling af datasæt er egnet til den anvendelse man ønsker, samt om det kræver yderligere data eller en frasortering af dele af data, at opnå det ønskede resultat. Hvorvidt der er behov for at formalisere og dokumentere vurderingen, afhænger af den specifikke anvendelsessituation.

Relevante vurderinger

Vurderingen af relevans forudsætter dels, at man først har gjort sig klart hvilket databehov man har til den konkrete anvendelse, dels at man har en dyb og pålidelig indsigt hvad datasættets indhold er. Indsigten starter typisk med datasættets dokumentation, herunder datamodeller, schemaer, beskrivelser af indhold og proveniens eller anden metadata. Andre kilder til information om relevans kan være kolonne- og feltnavne for tabulære data eller filmetadata i datasæt af filer. Dette kan suppleres af søgninger på information, der bør (eller ikke bør) være i datasættet, filtreringer på afgørende parametre, og manuel eller maskinel inspektion af data, især dele hvor der er tvivl om relevansen.

Derefter vurderer man i hvor høj grad datasættet opfylder de identificerede behov. Dette gøres ved at undersøge, om datasættet

  • indeholder de typer af information, der er nødvendige for at løse opgaven?

  • er fri for støj, dvs. typer af information, der ikke bidrager til opgaveløsningen?

  • inkluderer de rette, og kun de rette, individer, tidsperioder, geografiske områder mm.?

  • har de rette, og kun de rette, opmærkninger og metadata?

Hvis svaret på nogen af disse spørgsmål er nej, kan man undersøge om det er muligt at kombinere med andre datasæt eller frasortere de dele af data, der ikke er relevant, hvad enten det er typer af data, grupper af individer, opmærkning eller andet.

Eksempler

Et relevant datasæt til træning af en AI ruteplanlægning for renovation indeholder oplysninger om vejnet, trafikforhold og placering og type af beholdere, der skal tømmes, men indeholder ikke oplysninger om medarbejderes lønforhold eller klagesager og hærværksrapporter.

Til brug for en rapport om status af klimatilpasningsindsatser på kommunalt plan vil et relevant datasæt indeholde analyser af behov, informationer om afsluttede, igangsatte og planlagte aktiviteter med status, budget mm. for alle kommuner.

Et datasæt over trafikuheld kan virke relevant for en analyse af farlige vejkryds, men kan vise sig utilstrækkeligt i sig selv, hvis det kun dækker uheld med personskade, mens analysen skal inddrage alle uheld.

Et datasæt med borgerhenvendelser kan indeholde henvendelser om mange forskellige kommunale områder. Til kortlægning af behov for forbedring af parkeringsforhold er kun en delmængde relevant. Det øger datasættets anvendelighed hvis der muligt at filtrere på emne for henvendelsen og udtrække klager over parkeringsforhold.

Grænseværdier for kvælstofdioxid er ikke gældende på vejbaner, så et datasæt for luftkvalitetsmålinger er kun relevant for vurdering af om grænseværdien overholdes, hvis man kan frasortere målinger foretaget på vejbaner.

Vurdering

Vurdering af datakvalitet til egen anvendelse

Dette kapitel henvender sig til anvendere af data, der skal vurdere, om et datasæt er egnet til en konkret anvendelse. Vurderingen kan tage udgangspunkt i de oplysninger om datakvalitet, som dataudstiller har beskrevet for de enkelte kvalitetsdimensioner, kombineret med anvenders eget kendskab til den opgave data skal bruges til, evt. kombineret med undersøgelser af data og/eller dialog med dataejer eller -udstiller.

NOTE: Visse anvendelser kan være underlagt regulering, der stille særlige krav til vurderingen og dokumentationen af datakvalitet. Det gælder fx anvendelser der er kategoriseret som højrisiko i AI-forordningen. Oplysninger givet i henhold til fælles sprog for datakvalitet er ikke nødvendigvis tilstrækkelige i til at opfylde sådanne krav.

For at vurdere et datasæt til en konkret anvendelse anbefales følgende:

Beskriv anvendelsen tilstrækkeligt præcist. Grundig forståelse af formålet og hvilket krav det stiller til data er essentiel for at vurdere datasættets egnethed. Beskrivelsen bør omfatte, hvilke spørgsmål data skal besvare, hvilke beslutninger der skal træffes på baggrund af data, hvilke individer/objekter og relationer mellem disse, der er i fokus, og om anvendelsen sætter krav til fx tidsperiode og geografisk udstrækning eller anvendte enheder eller klassifikationer.

Identificer hvilke kvalitetsdimensioner der er relevante eller ligefrem kritiske for anvendelsen. Ikke alle dimensioner er lige vigtige for alle anvendelser. For et opslagsregister, hvor enkeltværdier slås op individuelt, er korrekthed og forståelighed typisk vigtigere end repræsentativitet. For en analyse, der skal danne grundlag for politiske beslutninger, er repræsentativitet ofte afgørende, og der vil typisk være krav til aktualitet, hvor det præcise krav vil afhænge af hvor hurtigt det der skal undersøges. Hvis effekten af et tiltag skal undersøges, har man fx brug for data fra både før og efter tiltaget blev igangsat.

Vurder herefter for hver enkelt dimension om data

  • Kan anvendes umiddelbart og uden forbehold

  • Kan anvendes med forbehold for enkelte fejl/utilsigtede resultater

  • Kan anvendes med forbehold for fejl/utilsigtede resultater

  • Kan anvendes med forbehold for et større antal fejl/utilsigtede resultater

  • Dårligt eller slet ikke kan anvendes

Herefter overvejes om det er praktisk muligt og hensigtsmæssigt at forbehandle data, tilføje data fra andre kilder eller lignende for at fjerne eller reducere fejl og utilsigtede resultater, og det er muligt at mitigere effekten af fejlene i anvendelsen og hvor kritiske den type fejl og utilsigtede resultater, der kan forekomme er.

Forskellige fejl eller usikkerheder kan være mere eller mindre kritiske for en specifik anvendelse. Hvis man vil bruge virksomhedsoplysninger til en målrettet oplysningskampagne om ændringer til en branchespecifik regulering, er det væsentligt at branchekoder er komplette og korrekte, men mindre vigtigt om oplysninger om antal ansatte er det. Hvis man vil undersøge dækningen og brugen af ladestandere i et område er præcision i placeringen og aktualiteten af oplysninger om konkret brug mindre vigtigt end hvis man vil lave en app der hjælper elbilejere med at finde ledige ladestandere.

Det anbefales, at anvender dokumenterer sin vurdering af datasættets egnethed. Dokumentationen bør omfatte beskrivelsen af anvendelsen, hvilke kvalitetsdimensioner der er vurderet som kritiske, hvilke kilder der er anvendt som grundlag for vurderingen, og hvilke forbehold eller mitigerende tiltag der er taget.

Bilag

Bilag A: Ændringshistorik

Version 2.0

Version 2 er en gennemgribende revision af Fælles sprog for datakvalitet på baggrund af erfaringer og feedback i forhold til version 1. De væsentligste ændringer er:

Ny model for beskrivelse af datakvalitet. Dataudstillere skal ikke længere lave samlede deklarationer med stjernebedømmelser i forhold til forventede anvendelser. I stedet beskriver dataudstillere kort hver relevant dimension i tekstform. Beskrivelserne er egnet til maskinel udveksling og til integration i datakataloger. Anvendere vurderer selv datas egnethed til deres konkrete anvendelse.

Ændringer i dimensionssættet. Kernedimensionen genbrugelighed er udgået og erstattet af to selvstændige dimensioner: forståelighed (kernedimension) og konsistens (supplerende dimension). Kernedimensionerne i version 2 er korrekthed, komplethed, aktualitet og forståelighed.

Tilføjelse af supplerende dimensioner. Version 2 introducerer fire supplerende dimensioner, der er relevante i bestemte situationer: repræsentativitet, relevans, præcision og konsistens. Disse dimensioner er ikke nødvendigvis relevante for alle datasæt, men bidrager til et fælles vokabular om kvalitetsforhold, der ofte er centrale ved konkrete anvendelser, herunder i forbindelse med maskinlæring.

Bilag

Bilag B: Eksempel på dokumentation af datasæt

Nedenfor ses eksempel på dokumentation af et - fuldstændigt imaginært - datasæt som hhv. almindelig tekst og rdf-turtle.

Eksempel udtrykt som almindelig tekst

Datasæt: Forekomst af klassisk rabies samt flagermuserabies i vild-og tamdyr i Danmark

Komplethed

Ved stikprøvekontrol (foretaget hos 75 tilfældigt udvalgte dyrlæger) var 92% af de forekomster der var registreret hos dyrlægerne også registreret i datasættet. Alle registrerede forekomster har udfyldt alle attributter, da indtastning uden udfyldelse af alle attributter ikke er mulig.

Korrekthed

Ved stikprøvekontrol (foretaget hos 75 tilfældigt udvalgte dyrlæger) blev der identificeret enkelte stavefejl, primært i navne på anmeldere.

Aktualitet

Datasættet opdateres halvårligt. På landsplan ses 1-2 nye tilfælde om måneden. Skulle der opstå epidemi vil dette tal stige væsentligt.

Forståelighed

Der findes tilgængelig datamodel i både menneske- og maskinlæsbart format, hvor udfaldsrum, herunder brug af fælles veterinærmedicinsk klassifikation, og anvendte enheder er dokumenteret. Datasættet har begrænsede metadata, og ingen beskrivelse af forretningsregler, forvaltning eller dataelementers historik.

Repræsentativitet

Da datasættet skal dække alle forekomster, er repræsentativitet mindre relevant. Der er ikke identificeret mønstre bland manglende registreringer.

Konsistens

Datasættet overholder datamodellen, inkl. ensartet angivelse af måleenheder, datoer mm. Der er ingen modstridende informationer eller referencer der ikke resolverer.

Præcision

Lokationsangivelser er af varierende præcision, typisk er kommune angivet nogle gange mindre områder.

Eksemplet udtrykt som rdf-turtle


@prefix dct: <http://purl.org/dc/terms/> .
@prefix dcat: <http://www.w3.org/ns/dcat#> .
@prefix oa: <http://www.w3.org/ns/oa#> .
@prefix dqv: <http://www.w3.org/ns/dqv#> .
@prefix dqm: <https://data.gov.dk/model/core/DataQualityDimensions/> .

<https://data.gov.dk/id/dataset/rabies-ex> a dcat:Dataset ; 
	dct:title " Forekomst af klassisk rabies samt flagermuserabies i vild-og tamdyr" .

<https://data.gov.dk/id/annotation/rabies-ex/komplethed> a dqv:QualityAnnotation ;
    oa:bodyValue "Ved stikprøvekontrol (foretaget hos 75 tilfældigt udvalgte dyrlæger) var 92% af de forekomster der var registreret hos dyrlægerne også registreret i datasættet. Alle registrerede forekomster har udfyldt alle attributter, da indtastning uden udfyldelse af alle attributter ikke er mulig." ;
    oa:hasTarget <https://data.gov.dk/dataset/rabies-ex>  ;
	oa:motivatedBy <dqv:qualityAssessment> ;
	dqv:inDimension dqm:Completeness .
	
<https://data.gov.dk/id/annotation/rabies-ex/korrekthed> a dqv:QualityAnnotation ;
    oa:bodyValue "Ved stikprøvekontrol (foretaget hos 75 tilfældigt udvalgte dyrlæger) blev der identificeret enkelte stavefejl, primært i navne på anmeldere." ;
    oa:hasTarget <https://data.gov.dk/dataset/rabies-ex>  ;
	oa:motivatedBy <dqv:qualityAssessment> ;
	dqv:inDimension dqm:Accuracy .
	
<https://data.gov.dk/id/annotation/rabies-ex/aktualitet> a dqv:QualityAnnotation ;
    oa:bodyValue "Datasættet opdateres halvårligt. På landsplan ses 1-2 nye tilfælde om måneden. Skulle der opstå epidemi vil dette tal stige væsentligt." ;
    oa:hasTarget <https://data.gov.dk/dataset/rabies-ex>  ;
	oa:motivatedBy <dqv:qualityAssessment> ;
	dqv:inDimension dqm:Currentness .

<https://data.gov.dk/id/annotation/rabies-ex/forståelighed> a dqv:QualityAnnotation ;
    oa:bodyValue "Der findes tilgængelig datamodel i både menneske- og maskinlæsbart format, hvor udfaldsrum, herunder brug af fælles veterinærmedicinsk klassifikation, og anvendte enheder er dokumenteret. Datasættet har begrænsede metadata, og ingen beskrivelse af forretningsregler, forvaltning eller dataelementers historik. " ;
    oa:hasTarget <https://data.gov.dk/dataset/rabies-ex>  ;
	oa:motivatedBy <dqv:qualityAssessment> ;
	dqv:inDimension dqm:Understandability .
	
<https://data.gov.dk/id/annotation/rabies-ex/repræsentativitet> a dqv:QualityAnnotation ;
    oa:bodyValue "Da datasættet skal dække alle forekomster, er repræsentativitet mindre relevant. Der er ikke identificeret mønstre bland manglende registreringer." ;
    oa:hasTarget <https://data.gov.dk/dataset/rabies-ex>  ;
	oa:motivatedBy <dqv:qualityAssessment> ;
	dqv:inDimension dqm:Representativity .
	
<https://data.gov.dk/id/annotation/rabies-ex/konsistens> a dqv:QualityAnnotation ;
    oa:bodyValue "Datasættet overholder datamodellen, inkl. ensartet angivelse af måleenheder, datoer mm. Der er ingen modstridende informationer eller referencer der ikke resolverer. " ;
    oa:hasTarget <https://data.gov.dk/dataset/rabies-ex>  ;
	oa:motivatedBy <dqv:qualityAssessment> ;
	dqv:inDimension dqm:Consistency .
	
<https://data.gov.dk/id/annotation/rabies-ex/præcision> a dqv:QualityAnnotation ;
    oa:bodyValue "Lokationsangivelser er af varierende præcision, typisk er kommune angivet nogle gange mindre områder." ;
    oa:hasTarget <https://data.gov.dk/dataset/rabies-ex>  ;
	oa:motivatedBy <dqv:qualityAssessment> ;
	dqv:inDimension dqm:Precision .

Ovenstående er afhængigt af at dimensionerne er defineret i rdf. Dette ses nedefor i turtle-format.


@prefix dqv: <http://www.w3.org/ns/dqv#> .
@prefix skos: <http://www.w3.org/2004/02/skos/core#> .
@prefix rdfs: <http://www.w3.org/2000/01/rdf-schema#> . 
@prefix dqm: <https://data.gov.dk/model/core/DataQualityDimensions/> .


dqm:DataQualityDimension rdfs:subClassOf dqv:Dimension ;
	skos:prefLabel "fællesoffentlig datakvalitetsdimension"@da ;
	skos:definition "datakvalitetsdimension der er defineret til fællesoffentlig brug i fælles sprog for datakvalitet"@da .
	
dqm:CoreDimension rdfs:subClassOf dqm:DataQualityDimension ;
	skos:prefLabel "kernedimension"@da ;
	skos:definition "datakvalitetsdimension, der anses for central i forbindelse med opmærkning af datasæt med kvalitetsinformation i dansk fællesoffentlig kontekst"@da .
	
dqm:SupplementalDimension rdfs:subClassOf dqm:DataQualityDimension ;
	skos:prefLabel "supplerendedimension"@da ;
	skos:definition "datakvalitetsdimension der er særligt relevant i visse sammenhænge"@da .

dqm:Completeness a dqm:CoreDimension;
	skos:prefLabel "komplethed"@da ;
	skos:definition "datakvalitetsdimension der indikerer i hvor høj grad datasættet indeholder de dataelementer der er forventede i forhold til datasættets specifikation"@da .
	
dqm:Accuracy a dqm:CoreDimension;
	skos:prefLabel "korrekthed"@da ;
	skos:definition "datakvalitetsdimension der indikerer i hvor høj grad dataværdier er i overensstemmelse med faktiske værdier"@da .
	
dqm:Currentness a dqm:CoreDimension;
	skos:prefLabel "aktualitet"@da ;
	skos:definition "datakvalitetsdimension der indikerer i hvor høj grad data er tidsmæssigt aktuelle i forhold til den virkelighed de repræsenterer"@da .

dqm:Understandability a dqm:CoreDimension;
	skos:prefLabel "forståelighed"@da ;
	skos:definition "datakvalitetsdimension der indikerer i hvor høj grad data kan læses og fortolkes af anvendere og er udtrykt i passende sprog, symboler og enheder"@da .

dqm:Consistency a dqm:SupplementalDimension;
	skos:prefLabel "konsistens"@da ;
	skos:definition "datakvalitetsdimension der indikerer i hvor høj grad datasættet er fri for modsigelser og logisk sammenhængende"@da .

dqm:Relevance a dqm:SupplementalDimension;
	skos:prefLabel "relevans"@da ;
	skos:definition "datakvalitetsdimension der indikerer i hvor høj grad data er nyttigt og passende i en given kontekst"@da .

dqm:Representativity a dqm:SupplementalDimension;
	skos:prefLabel "repræsentativitet"@da ;
	skos:definition "datakvalitetsdimension der indikerer i hvor høj grad datasættet afspejler sammensætningen af den gruppe individer datasættet repræsenterer"@da .

dqm:Precision a dqm:SupplementalDimension;
	skos:prefLabel "præcision"@da ;
	skos:definition "Datakvalitetsdimension der indikerer i hvor høj grad værdier i datasættet er eksakte eller giver mulighed for differentiering"@da .	
	

Bilag

Bilag C: Begrebsmodel

Her ses den begrebsmodel, der definere de centrale begreber i forbindelse med Fælles sprog for datakvalitet. Den findes også her, inkl. i xmi-format: https://data.gov.dk/concept/core/dataQuality (åbner i ny fane)

Fælles Sprog For Datakvalitet Fuldt Diagram

Begreber

Foretrukken dansk term

Accepteret dansk term

Definition

Kommentar

Kilde

 

Tilhører emne

 

korrekthed

 

datakvalitetsdimension der indikerer i hvor høj grad dataværdier er i overensstemmelse med faktiske værdier

 

Projektet Fælles sprog for datakvalitet, Den fællesoffentlige digitaliseringsstrategi 2016-2020

https://data.gov.dk/concept/core/dataQuality#

dækningsgrad

attribut-komplethed

komplethed i forhold til at datasættet indeholder de forventede oplysninger om de registrerede individers egenskaber

 

Projektet Fælles sprog for datakvalitet, Den fællesoffentlige digitaliseringsstrategi 2016-2020

https://data.gov.dk/concept/core/dataQuality#

komplethed

 

datakvalitetsdimension der indikerer i hvor høj grad datasættet indeholder de dataelementer der er forventede i forhold til datasættets specifikation

 

Projektet Fælles sprog for datakvalitet, Den fællesoffentlige digitaliseringsstrategi 2016-2020

https://data.gov.dk/concept/core/dataQuality#

konsistens

 

datakvalitetsdimension der indikerer i hvor høj grad data er fri for modsigelser og er sammenhængende med andre data

 

ISO 25012 Data Quality Model

https://data.gov.dk/concept/core/dataQuality#

kernedimension

 

datakvalitetsdimension, der anses for central i forbindelse med opmærkning af datasæt med kvalitetsinformation i dansk fællesoffentlig kontekst

 

Projektet Fælles sprog for datakvalitet, Den fællesoffentlige digitaliseringsstrategi 2016-2020

https://data.gov.dk/concept/core/dataQuality#

aktualitet

tidstrohed

datakvalitetsdimension der indikerer i hvor høj grad data er tidsmæssigt aktuelle i forhold til den virkelighed de repræsenterer

 

Projektet Fælles sprog for datakvalitet, Den fællesoffentlige digitaliseringsstrategi 2016-2020

https://data.gov.dk/concept/core/dataQuality#

fælles sprog for datakvalitet

 

fællesoffentlig kvalitetsramme der definerer kernedimensioner

 

Projektet Fælles sprog for datakvalitet, Den fællesoffentlige digitaliseringsstrategi 2016-2020

https://data.gov.dk/concept/core/dataQuality#

datakvalitet

 

grad af tilfredsstillelse af udtrykte og underforståede behov datas egenskaber giver ved brug under specifikke omstændigheder

 

ISO 25012 Data Quality Model

https://data.gov.dk/concept/core/dataQuality#

datakvalitets-dimension

kvalitets-dimension

 kriterier der er relevante for at vurdere kvalitet

 

https://www.w3.org/TR/vocab-dqv

https://data.gov.dk/concept/core/dataQuality#

datasæt

datasamling

samling af data, udstillet eller forvaltet af en enkelt aktør

 

https://www.w3.org/TR/vocab-dcat-2/

 

fuldstændighed

 

komplethed i forhold til at datasættet indeholder registreringer af de forventede individer

 

Projektet Fælles sprog for datakvalitet, Den fællesoffentlige digitaliseringsstrategi 2016-2020

https://data.gov.dk/concept/core/dataQuality#

metadata

 

data der giver information om andre data

 

https://www.merriam-webster.com/dictionary/metadata

 

præcision

 

datakvalitetsdimension der indikerer i hvor høj grad værdier i datasættet er detaljerede nok til at skelne mellem forskellige forhold

 

Fælles sprog for datakvalitet, version 2

https://data.gov.dk/concept/core/dataQuality#

kvalitetsramme

kvalitets-rammeværk

et antal kvalitetsdimensioner der er udarbejdet med henblik på at udgøre en ramme for kvalitetsbeskrivelse

 

Projektet Fælles sprog for datakvalitet, Den fællesoffentlige digitaliseringsstrategi 2016-2020

https://data.gov.dk/concept/core/dataQuality#

kvalitetsmåling

 

evaluering af et givent datasæt (eller datasætdistribution) i forhold til en specifik metode

 

https://www.w3.org/TR/vocab-dqv

https://data.gov.dk/concept/core/dataQuality#

kvalitetsmetadata

 

metadata der omhandler kvalitet

 

http://www.w3.org/ns/dqv

https://data.gov.dk/concept/core/dataQuality#

kvalitets-annotation

 

annotationer om kvalitet, inklusiv vurderinger, kvalitetscertifikater eller feedback, der kan associeres til datasæt eller deres distributioner

 

 

https://www.w3.org/TR/vocab-dqv

https://data.gov.dk/concept/core/dataQuality#

relevans

 

datakvalitetsdimension der indikerer i hvor høj grad datasættets indhold modsvarer behovet i en given anvendelse

 

Fælles sprog for datakvalitet, version 2

https://data.gov.dk/concept/core/dataQuality#

repræsentativitet

 

datakvalitetsdimension der indikerer i hvor høj grad datasættet afspejler sammensætningen af den gruppe individer datasættet repræsenterer

 

Fælles sprog for datakvalitet, version 2

https://data.gov.dk/concept/core/dataQuality#

semantisk korrekthed

Indholds-mæssig korrekthed

korrekthed i form af overensstemmelse mellem indholdet af de data der er registreret og faktiske forhold

 

Projektet Fælles sprog for datakvalitet, Den fællesoffentlige digitaliseringsstrategi 2016-2020

https://data.gov.dk/concept/core/dataQuality#

supplerende dimension

 

datakvalitetsdimension der er særligt relevant i visse sammenhænge

Modsat kernedimensioner er supplerende dimensioner ikke relevante for alle data eller i alle sammenhænge

Fælles sprog for datakvalitet version 2

https://data.gov.dk/concept/core/dataQuality#

syntaktisk korrekthed

formmæssig korrekthed

korrekthed i form af at data overholder syntaktiske regler herunder regler for retstavning og strukturregler for anvendte formater

 

Projektet Fælles sprog for datakvalitet, Den fællesoffentlige digitaliseringsstrategi 2016-2020

https://data.gov.dk/concept/core/dataQuality#

forståelighed

 

datakvalitetsdimension der indikerer i hvor høj grad data er repræsenteret på en måde der er læselig og forståelig for brugerne

 

ISO 25012 Data Quality Model

https://data.gov.dk/concept/core/dataQuality#

opdaterings-frekvens

 

hvor ofte noget opdateres

 

Projektet Fælles sprog for datakvalitet, Den fællesoffentlige digitaliseringsstrategi 2016-2020

https://data.gov.dk/concept/core/dataQuality#

Bilag

Bilag D: Datamodel

Den fulde anvendelsesmodel og vokabular udarbejdet i forbindelse med fælles sprog for datakvalitet kan findes på https://data.gov.dk/model/profile/dataqualitydeclaration (åbner i ny fane).

Nedenfor ses den mest centrale del af anvendelsesmodellen, i form kontekstdiagram for Kvalitetsannotationer.

Kvalitetsannotationer

Kvalitetsannotationer

Bilag

Bilag E: Foreslåede metadata

Nedenfor ses de metadata et datasæt forslås forsynet med af datakvalitetshensyn i diagramform. For yderligere oplysninger om metadata og beskrivelse af datasæt henvises til DCAT-AP-DK.

Foreslåede Metadata

Bilag

Bilag F: Fælles sprog og andre rammeværk

Fælles sprog for datakvalitets underliggende datamodel er udarbejde med baggrund W3Cs Data Quality Vocabulary og dimensionssættet tager især udgangspunkt i de deri nævnte dimensionssæt: ISO 25012 og Linked Data Quality Dimensions. Der er mange potentielle dimensioner både i de to, og andre, rammeværk. For at øge den praktiske anvendelighed af fælles sprog for datakvalitet, er det anset for nødvendigt at begrænse antallet af dimensioner. Derudover er der indført en skelnen mellem kernedimensioner, der anses for at være relevante i stort set alle situationer og supplerende dimensioner der har en bred relevans, men ikke i alle situationer. Fælles for de valgte dimensioner er at de beskriver datasættets iboende egenskaber, der er gældende for alle distributioner af datasættet og er uafhængige af hvordan data tilgås.

Nedenfor findes de fulde dimensionssæt fra de nævnte rammeværker samt mapninger mellem dem og fælles sprog for datakvalitet. Der findes andre rammeværk for datakvalitet, og der kommer til stadighed flere. Der vil blive arbejdet på at beskrive forholdet fælles sprog for datakvalitet og de rammeværk, der er mest relevant i en offentlig kontekst.

Fuldt dimensionssæt fra ISO 25012

(ISO 25012 – Software engineering – Software product Quality Requirements and Evaluation (SQuaRE) – Data quality model)

Dimension

Definition

Accuracy

The degree to which data has attributes that correctly represent the true value of the intended attribute of a concept or event in a specific context of use.

Completeness

The degree to which subject data associated with an entity has values for all expected attributes and related entity instances in a specific context of use.

Consistency

The degree to which data has attributes that are free from contradiction and are coherent with other data in a specific context of use. It can be either or both among data regarding one entity and across similar data for comparable entities.

Credibility

The degree to which data has attributes that are regarded as true and believable by users in a specific context of use. Credibility includes the concept of authenticity (the truthfulness of origins, attributions, commitments).

Currentness

The degree to which data has attributes that are of the right age in a specific context of use.

Accessibility

The degree to which data can be accessed in a specific context of use, particularly by people who need supporting technology or special configuration because of some disability.

Compliance

The degree to which data has attributes that adhere to standards, conventions or regulations in force and similar rules relating to data quality in a specific context of use.

Confidentiality

The degree to which data has attributes that ensure that it is only accessible and interpretable by authorized users in a specific context of use. Confidentiality is an aspect of information security (together with availability, integrity) as defined in ISO/IEC 13335-1:2004.

Efficiency

The degree to which data has attributes that can be processed and provide the expected levels of performance by using the appropriate amounts and types of resources in a specific context of use.

Precision

The degree to which data has attributes that are exact or that provide discrimination in a specific context of use.

Traceability

The degree to which data has attributes that provide an audit trail of access to the data and of any changes made to the data in a specific context of use.

Understandability

The degree to which data has attributes that enable it to be read and interpreted by users, and are expressed in appropriate languages, symbols and units in a specific context of use. Some information about data understandability are provided by metadata.

Availability

The degree to which data has attributes that enable it to be retrieved by authorized users and/or applications in a specific context of use.

Portability

The degree to which data has attributes that enable it to be installed, replaced or moved from one system to another preserving the existing quality in a specific context of use.

Recoverability

The degree to which data has attributes that enable it to maintain and preserve a specified level of operations and quality, even in the event of failure, in a specific context of use.

 

Mapning mellem ISO 25012 og fælles sprog for datakvalitet

Kernedimension

ISO 25012-dimension

Mapningsrelation

Komplethed

Completeness

The degree to which subject data associated with an entity has values for all expected attributes and related entity instances in a specific context of use.

Fuld ækvivalens (skos:exactMatch)

(Note: denne mapning er ændret ift v. 1, da ISO 25024 har givet yderligere information om intentionen med Completeness)

Korrekthed

Accuracy

The degree to which data has attributes that correctly represent the true value of the intended attribute of a concept or event in a specific context of use

Fuld ækvivalens (skos:exactMatch)

Aktualitet

Currentness

The degree to which data has attributes that are free from contradiction and are coherent with other data in a specific context of use. It can be either or both among data regarding one entity and across similar data for comparable entities

Fuld ækvivalens (skos:exactMatch)

Forståelighed

Understandability

The degree to which data has attributes that enable it to be read and interpreted by users, and are expressed in appropriate languages, symbols and units in a specific context of use. Some information about data understandability are provided by metadata

Fuld ækvivalens (skos:exactMatch)

Repræsentativitet

 

Ingen ækvivalent dimension

Konsistens

Consistency

The degree to which data has attributes that are free from contradiction and are coherent with other data in a specific context of use. It can be either or both among data regarding one entity and across similar data for comparable entities

Fuld ækvivalens (skos:exactMatch)

Præcision

Precision

The degree to which data has attributes that are exact or that provide discrimination in a specific context of use.

Fuld ækvivalens (skos:exactMatch)

Relevans

 

Ingen ækvivalent dimension

< 

 

Fuldt dimensionssæt fra Linked Data Quality Dimensions-vokabularet

http://www.w3.org/2016/05/ldqd, udarbejdet på baggrund af Amrapali Zaveri, Anisa Rula, Andrea Maurino, Ricardo Pietrobon, Jens Lehmann, Sören Auer: Quality assessment for Linked Data: A Survey. Semantic Web 7(1): 63-93 (2016) https://dx.doi.org/10.3233/SW-150175 (åbner i ny fane))

Dimension

Definition

Availability

Availability of a dataset is the extent to which data (or some portion of it) is present, obtainable and ready for use.

Licensing

Licensing is defined as the granting of permission for a consumer to re-use a dataset under defined conditions.

Interlinking

Interlinking refers to the degree to which entities that represent the same concept are linked to each other, be it within or between two or more data sources.

Security

Security is the extent to which data is protected against alteration and misuse.

Performance

Performance refers to the efficiency of a system that binds to a large dataset, that is, the more performant a data source is the more efficiently a system can process data.

Syntactic validity

Syntactic validity is defined as the degree to which an RDF document conforms to the specification of the serialization format.

Semantic accuracy

Semantic accuracy is defined as the degree to which data values correctly represent the real world facts.

Consistency

Consistency means that a knowledge base is free of (logical/formal) contradictions with respect to particular knowledge representation and inference mechanisms.

Conciseness

Conciseness refers to the minimization of redundancy of entities at the schema and the data level.

Completeness

Completeness refers to the degree to which all required information is present in a particular dataset.

Relevancy

Relevancy refers to the provision of information which is in accordance with the task at hand and important to the users’ query.

Trustworthiness

Trustworthiness is defined as the degree to which the information is accepted to be correct, true, real and credible.

Understandability

Understandability refers to the ease with which data can be comprehended without ambiguity and be used by a human information consumer.

Timeliness

Timeliness measures how up-to-date data is relative to a specific task.

Representational-conciseness

Representational-conciseness refers to the representation of the data, which is compact and well formatted.

Interoperability

Interoperability is the degree to which the format and structure of the information conforms to previously returned information as well as data from other sources.

Interpretability

Interpretability refers to technical aspects of the data, that is, whether information is represented using an appropriate notation and whether the machine is able to process the data.

Versatility

Versatility refers to the availability of the data in different representations and in an internationalized way.

 

Mapning mellem Linked Data Quality Dimensions og fælles sprog for datakvalitet

Kernedimension

Linked Data Quality Dimension

Mapningsrelation

Komplethed

Completeness

Completeness refers to the degree to which all required information is present in a particular dataset

Fuld ækvivalens (skos:exactMatch)

Korrekthed

Semantic Accuracy

Semantic accuracy is defined as the degree to which data values correctly represent the real world facts

 

Semantic Accuracy er et underbegreb til korrekthed (skos:narrowMatch)

 

Note: ldqd-dimension har fuld ækvivalens med aspektet semantisk korrekthed

Aktualitet

Timeliness

Timeliness measures how up-to-date data is relative to a specific task

Fuld ækvivalens (skos:exactMatch)

Forståelighed

Understandability

Understandability refers to the ease with which data can be comprehended without ambiguity and be used by a human information consumer

Fuld ækvivalens (skos:exactMatch)

Repræsentativitet

 

Ingen ækvivalent dimension

Konsistens

Consistency

Consistency means that a knowledge base is free of (logical/formal) contradictions with respect to particular knowledge representation and inference mechanisms

Nærækvivalens (skos:closeMatch)

Præcision

 

Ingen ækvivalent dimension

Relevans

Relevancy

Relevancy refers to the provision of information which is in accordance with the task at hand and important to the users’ query.

Nærækvivalens (skos:closeMatch)

 

Indtast et søgeord