Benchmarkprojektet
Udformning af et benchmark til at evaluere danske sprogmodeller
Projektet går ud på at opstille et benchmark med en række evalueringsdatasæt der kan bruges til at undersøge graden af sprogforståelse i store sprogmodeller der arbejder på dansk. Der tages især udgangspunkt i danske semantiske ordbøger som Den Danske Begrebsordbog, DanNet, Dansk FrameNet Leksikon, Det Danske Sentimentleksikon og Det Centrale OrdRegister, og datasættene udvikles bl.a. semiautomatisk ud fra disse.
Partner
Det Danske Sprog- og Litteraturselskab
Datasæt
Evalueringsdatasættene er tilgængelige på github og udvikles løbende.
Morten Mikkelsen. (30-08-2024). Chatbotter skal også forstå sprogets danske sjæl. Kristeligt Dagblad. Interview med Bolette S. Pedersen og Nathalie Hau Sørensen.
Pedersen, B. S., Sørensen, N. C. H., Olsen, S., & Nimb, S. (2024). Evaluering af sprogforståelsen i danske sprogmodeller – med udgangspunkt i semantiske ordbøger. NyS - Nydanske Sprogstudier, 65, 8-40. [1].
Pedersen, B. S., Sørensen, N. C. H., Olsen, S., Nimb, S., & Gray, S. (2024). Towards a Danish Semantic Reasoning Benchmark - Compiled from Lexical-Semantic Resources for Assessing Selected Language Understanding Capabilities of Large Language Models. I Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024) (s. 16356). ELRA and ICCL.
- Workshop on NLU benchmark datasets for Danish, Center for Sprogteknologi, 12. Marts 2024.
- Benchmarking Workshop, Digitaliseringsstyrelsen 20 september 2024.
Deltagere
Interne
| Navn | Titel | Telefon | |
|---|---|---|---|
| Gray, Simon | Forskningsfuldmægtig | +4535337688 | |
| Hansen, Dorte Haltrup | Akademisk medarbejder FU | +4535329070 | |
| Olsen, Sussi | Akademisk medarbejder FU | +4535329064 | |
| Pedersen, Bolette Sandford | Professor, Viceinstitutleder | +4535329078 | |
| Schneidermann, Nina Skovgaard | Videnskabelig assistent | +4535331600 |
Støttet af
Titel: Compiling a Danish Benchmark Dataset for Assessing Selected Reasoning Capabilities of Large Language Models
Projektperiode: 1. februar 2024 – 1. februar 2026