NextGenerationEU projektas „Nuasmeninimo tekstyno sukūrimas (NUS)“, Nr. 02-100-K-0001.

Apimtis. 41 312 įrašų (13 762 478 žodžiai, 520 904 sakiniai), kiekvienas tekstas anotuotas asmens duomenų (angl. personally identifiable information, PII) atžvilgiu — iš viso 1 487 589 anotacijos. Mokymo imtis — 41 189 įrašai (administraciniai, moksliniai ir žiniasklaidos tekstai), testavimo (validacijos) imtis — 123 įrašai. Duomenys pateikiami JSONL, CoNLL-2003 (BIO) ir TEI P5 XML formatais.

Tekstyno sandara. Asmens duomenų tekstynas priskirtinas specializuotiems lietuvių kalbos tekstynams, skirtiems automatinio asmens duomenų aptikimo ir nuasmeninimo (angl. de-identification) sistemų giliojo mokymo pagrindu apmokymui bei vertinimui. Tekstyną sudaro originalūs lietuvių kalba parengti tekstai kartu su rankiniu būdu pažymėtomis asmens duomenų anotacijomis. Iš viso išskirti 24 anotacijų tipai, suskirstyti į dvi grupes: 16 bendrųjų kategorijų (PER, LOC, ORG, ID_PER, ID_MISC, NUM_PHONE, NUM_CAR, MISC, OCC, EDU, AGE, DATE, TIME, DURATION, VALUE, NAT) ir 8 BDAR specialiosios kategorijos „jautrūs" duomenys (HEALTH, REL, POL, ETH, MAR, FAM, GENDER, SEX). Jautrių duomenų anotacijos sudaro apie 2,84 proc. visų anotacijų, atspindint jų faktinį pasiskirstymą realiuose tekstuose.

Tekstyną sudaro trys skirtingos teminės dalys ir stratifikuota validacijos imtis. Proporcijos pagal žodžių skaičių: 1. administraciniai tekstai — 11 487 490 žodžių (apie 83 proc. tekstyno), 2. moksliniai tekstai — 1 108 602 žodžiai (apie 8 proc.), 3. žiniasklaidos tekstai — 1 107 917 žodžių (apie 8 proc.), 4. validacijos imtis — 58 469 žodžiai (apie 0,4 proc.).

Pagal įrašų skaičių dominuoja administracinė sritis (38 468 įrašai), toliau: žiniasklaida (2 451), moksliniai tekstai (270) ir validacijos imtis (123).

Tekstų šaltiniai. Administracinės dalies tekstai surinkti iš 111 šaltinių — Lietuvos savivaldybių ir valstybės institucijų interneto svetainių (laikotarpis 2001–2025 m.); 3,8 proc. (1 480 įrašų) šios dalies sudaro sintetiniai tekstai, sugeneruoti Gemma 2 27B modeliu ir atitinkamai pažymėti (original_id prefiksas translated_synthetic_admin_texts_*). Mokslinės dalies tekstai paimti iš VDU CRIS (Lituanistikos duomenų bazės) ir atvirosios prieigos Vilniaus universiteto leidyklos žurnalų (laikotarpis 2000–2025 m.). Žiniasklaidos dalies tekstai — Lietuvos nacionalinio transliuotojo LRT.lt portale publikuoti straipsniai (2019–2020 m. archyvas ir 2024–2025 m. svetainės surinkimas). Validacijos imtis — filtruotas pirmiau išvardytų šaltinių poaibis, atspindintis visų trijų dalykinių sričių pasiskirstymą.

Projekto tikslas. Parengti ne mažiau kaip 10 mln. žodžių nuasmeninimo tekstyną, kuriame būtų sužymėtos BDAR aktualios įvardintos esybės (angl. named entities), atspindinčios bendrą asmeninę informaciją apie realaus pasaulio asmenis, tokiu būdu sudarant galimybes tekstyną naudoti automatizuotam duomenų anonimizavimui/ užkodavimui pagal BDAR reikalavimus ir mašininio arba giliojo mokymo technologijų sprendimų apmokymui.

Tekstyno pagrindu parengti giliojo mokymosi sprendimai. Remiantis šio tekstyno duomenimis, parengtas automatinis asmeninės informacijos aptikimo modelis lietuvių kalbai:

1. Nuasmeninimo modelis, paremtas XLM-RoBERTa architektūra: NUS-LT-PII-xlm-roberta-large (https://huggingface.co/VytautoDidziojoUniversitetas/NUS-LT-PII-xlm-roberta-large).

NextGenerationEU projektas „Santraukų tekstynai dirbtiniam intelektui“, Nr. 02-101-K-0001.

Apimtis: 2340 tekstų (1 738 609 žodžiai), kiekvienas tekstas suporuotas su dviem žmonių parengtomis santraukomis: abstraktyvia (iš viso 352 591 žodis) ir ekstraktyvia (iš viso 494 861 žodis). Mokymo imtis – 2240 tekstų, testavimo imtis – 100 tekstų. Duomenys pateikiami CSV, JSON ir XML formatais.

Tekstyno sandara. Santraukų tekstynas priskirtinas specializuotiems lietuvių kalbos tekstynams, skirtiems automatinio santraukų sudarymo (angl. automatic summarisation) sistemų giliojo mokymo pagrindu apmokymui ir vertinimui. Tekstyną sudaro originalūs lietuvių autorių parengti tekstai kartu su žmonių parašytomis abstraktyviomis ir ekstraktyviomis santraukomis. Kiekviena santrauka sudaro ne mažiau kaip 10 proc. originalaus teksto apimties.

Tekstyną sudaro keturios skirtingos dalys: informacinių technologijų (IT), teisės (teisė), medicinos (medicina) ir žiniasklaidos (žiniasklaida). Proporcijos: 1. teisės tekstai – 668 276 žodžiai (apie 38 proc. tekstyno), 2. medicinos tekstai – 371 611 žodžių (apie 21 proc.), 3. žiniasklaidos tekstai – 354 012 žodžių (apie 20 proc.), 4. informacinių technologijų tekstai – 344 710 žodžių (apie 20 proc.).

Pagal tekstų skaičių dominuoja informacinių technologijų sritis (689 tekstai), toliau: žiniasklaida (568), medicina (550) ir teisė (533).

Tekstų šaltiniai. Informacinių technologijų dalies tekstai surinkti iš IT tinklaraščių (pvz., technologijos.lt), studentų bakalauro ir magistro baigiamųjų darbų (pvz., VDU CRIS) bei Vilniaus universiteto IT mokslo žurnalų (zurnalai.vu.lt). Teisės dalies tekstai paimti iš Lietuvos teismų informacinės sistemos LITEKO, Lietuvos Respublikos teisės aktų registro, Lietuvos Aukščiausiojo Teismo jurisprudencijos, teisės publikacijų (pvz., teise.pro) ir mokslinių straipsnių (pvz., elaba.lt). Medicinos dalies tekstai – Valstybės duomenų agentūros parengti anonimizuoti vaistinių dokumentai ir gydytojų diagnozės. Žiniasklaidos dalies tekstai – Lietuvos nacionalinio transliuotojo LRT.lt portale publikuoti straipsniai.

Projekto tikslas. Parengti ir validuoti mišrius lietuvių kalbos tekstų santraukų / abstraktų tekstynus, skirtus automatinio sudarymo giliojo mokymo pagrindu veikiančių sistemų apmokymui. Projektas vykdomas Vytauto Didžiojo universiteto kartu su partneriu Vilniaus universitetu pagal planą „Naujos kartos Lietuva“ (komponentas „Skaitmeninė transformacija ekonomikos augimui“), projekto Nr. 02-101-K-0001.

Tekstyno pagrindu parengti giliojo mokymosi sprendimai. Remiantis šio tekstyno duomenimis, parengti du automatinio santraukų sudarymo modeliai lietuvių kalbai: 1. ekstraktyvaus santraukų sudarymo modelis, paremtas XLM-RoBERTa architektūra: LT-ABS-extractive-xlm-roberta (https://huggingface.co/VytautoDidziojoUniversitetas/LT-ABS-extractive-xlm-roberta); 2. abstraktyvaus santraukų sudarymo modelis, paremtas Gemma 3 12B architektūra: LT-ABS-abstractive-Gemma3-12b (https://huggingface.co/VytautoDidziojoUniversitetas/LT-ABS-abstractive-Gemma3-12b).

NextGenerationEU projektas „Morfologiškai ir sintaksiškai anotuotų tekstynų modeliai apmokymui (auksiniai standartai)“, Nr. 02-098-K-0001.

Dydis: 10 010 420 žodžių; 12 221 575 tekstyno vienetai (žodžiai, skaitmenys, simboliai, skyrybos ženklai); 668 969 sakiniai.

Tekstyno sandara. SIMAS priskirtinas bendriesiems anotuotiems rašomosios kalbos tekstynams. Tekstyną sudaro tekstai, parašyti ir publikuoti 2000–2025 m. laikotarpiu, reprezentuojama originalioji dabartinė bendrinė rašytinė lietuvių kalba. Tekstynas susideda iš keturių skirtingus stilius atspindinčių dalių: grožinės, mokslinės, administracinės literatūros ir periodikos (tai Lietuvos nacionalinio transliuotojo LRT.lt portale publikuoti tekstai). Proporcijos: periodika (įvairiatemiai ir įvairiažanriai straipsniai iš LRT.lt ) – 4 852 550 žodžių (apie 50 proc. tekstyno). Dokumentai sudaro 2 085 581 žodį, mokslinės literatūros tekstai (įvairių mokslo sričių knygos ir straipsniai) sudaro 2 108 574 žodžius (po 20 proc. tekstyno), o grožinės literatūros tekstai – 963 632 žodžius (apie 10 proc. tekstyno). Tekstyne sukaupti tik lietuvių autorių sukurti originalūs grožinio ir mokslinio stiliaus tekstai, vertimų neįtraukta. Visose tekstyno dalyse yra pilni tekstai, o ne tekstų fragmentai.

Anotavimo įrankiai. Tekstynas automatiškai anotuotas morfologiškai ir sintaksiškai, lingvistų peržiūrėtas. Automatiniam morfologiniam anotavimui naudotas įrankis „Morfuoklis“ (https://sitti.vdu.lt/morfuoklis/lt). Automatinei sintaksinei analizei naudotas tarptautinis įrankis UDPipe (https://lindat.mff.cuni.cz/services/udpipe/) , pritaikytas lietuvių kalbai.

Lietuvių kalbos garsynas LIEPA-3 yra skirtas šnekos atpažinimo (ASR, STT) taikymams ir moksliniams tyrimams. Bendra anotuota garsyno trukmė yra 10000 val. Garsyną sudaro garso įrašai FLAC formatu (44.1 kHz, 16 bitų, mono) ir juos atitinkantys anotacijų failai teksto formatu žodžio bei frazių lygmens anotacijose bei Praat TextGrid (https://praat.org/) formatu foneminėse anotacijose. Garsyne įrašyta skaitoma šneka, spontaninė šneka ir lietuviškos tarmės. Garsynas sąlyginai sudalintas į kelis subgarsynus: spontaninės šnekos (SPON - 4900 val.), skaitomos šnekos (READ - 5000 val.), tarmių (DIAL - 100 val.) bei fonemiškai anotuotą garsyną (PHON - 500 val.). Bendras garsyno dydis yra 1,3 TB (ZIP formatas, dalys atsisiuntimui po 10 GB). Garsynas anotuotas fonemų lygmenyje (500 valandų), žodžių (10 000 valandų) ir frazių (10 000 valandų) lygmenyse.

Duomenyne galima rasti šiuos duomenų rinkinius:

• kalbinių ypatybių pasiskirstymo Lietuvos teritorijoje skaitmeniniai internetiniai žemėlapiai, sudaryti kalbos paveldo duomenų pagrindu. Šie duomenys apima ne mažiau kaip 180 erdvinių duomenų rinkinių: a) skenuotų ir geoorientuotų kalbinių ypatybių paplitimo žemėlapių, b) rekonstruotų kalbinių ypatybių paplitimo vektorinių sluoksnių ir c) sumodeliuotų kalbinių ypatybių paplitimo rastrinių sluoksnių https://atviri-duomenys.lki.lt/search?categories=%252Fcategories%252Fkalbin%25C4%2597s%2520ypatyb%25C4%2597s

• šiuolaikinių kalbinių, sociolingvistinių ir mentalinių duomenų skaitmeniniai internetiniai žemėlapiai, kurių pagrindą sudaro ne mažiau kaip 35 erdvinių duomenų sluoksniai, sukurti remiantis statistiniais gyventojų demografijos, socioekonominių rodiklių ir kalbos gyvybingumo duomenimis. Duomenys surinkti atliekant reprezentatyvias sociolingvistines lietuvių kalbos vartosenos, prestižo, nuostatų, percepcijos, kalbos (kalbų) variantiškumo ir kt. apklausas. Išskiriamos šios duomenų grupės: Percepcija: https://atviri-duomenys.lki.lt/search?categories=%252Fcategories%252Fsociolingvistika Etnolingvistika: https://atviri-duomenys.lki.lt/search?categories=%252Fcategories%252Fetnolingvistika Sociolingvistika: https://atviri-duomenys.lki.lt/search?categories=%252Fcategories%252Fsociolingvistika

• Sociodemografiniai žemėlapiai ir jiems kurti panaudoti erdviniai duomenys, parengti remiantis valstybės įstaigų duomenimis: https://atviri-duomenys.lki.lt/search?categories=%252Fcategories%252Fsociodemografija https://get.data.gov.lt/datasets/gov/lki/2011_gyventoju_surasymas/:ns

Bendrąjį lietuvių kalbos paveldo duomenyną sudaro 500 tūkst. vienetų lietuvių kalbos leksikografijos, tarmių ir vardyno medžiagos objektų (kalbos duomenų kortelių). Objektą sudaro skenuotas kortelės vaizdas JPG formatu bei kortelės duomenys XML įraše. Duomenyne skelbiami „Lietuvių kalbos žodyno“ Pagrindinė kartotekos, „Lietuvių kalbos žodyno“ Papildymų kartotekos ir Vietovardžių, surinktų iš gyvosios kalbos, kartotekos duomenys.

Rinkinyje pateikiami Lietuvos Respublikos Ryšių reguliavimo tarnybai Viešųjų fiksuotojo ryšio tinklų teikėjų pateikti fiksuotojo ryšio tinklų geografinio ir technologinio išvystymo pastatuose duomenys. Pastatų adresai pateikiami 1km dydžio stačiakampėmis gardelėmis. Vienoje eilutėje atvaizduojama viena interneto technologija pastate per vienerius metus. Duomenys pateikiami nuo 2023 metų ir atnaujinami kiekvienų metų balandžio mėn.

Su duomenimis susijusiais klausimais prašome kreiptis el. paštu atverimas@stat.gov.lt. Dėl techninių portalo veiklos sutrikimų prašome kreiptis el. paštu atviriduomenys@vssa.lt.

Lentelėje – universitetų ir mokslinių tyrimų institutų mokslo, meno darbų formaliojo (kasmetinio) vertinimo duomenys iš Lietuvos mokslo tarybos Mokslo (meno) veiklos rezultatų vertinimo sistemos „Vieversys“. Duomenys lentelėje pateikiami nuo 2017 metų ir atnaujinami, papildomi kas metus. Svarbu atkreipti dėmesį, kad laikui bėgant gali atsirasti pasikeitimų mokslo srityse (pvz.: mokslo sritis „Biomedicinos mokslai“ nuo 2018 metų pervadinta į „Medicinos ir sveikatos mokslai“) ir vertinimo tvarkose (daugiau skaityti čia: https://lmt.lrv.lt/lt/veiklos-sritys/mokslo-kokybe/mokslo-meno-vertinimas/universitetai-ir-moksliniu-tyrimu-institutai/kasmetinis-mokslo-meno-veiklos-vertinimas/).

Su duomenimis susijusiais klausimais prašome kreiptis el. paštu atverimas@stat.gov.lt. Dėl techninių portalo veiklos sutrikimų prašome kreiptis el. paštu atviriduomenys@vssa.lt.

Rinkinyje pateikiama Kauno m. savivaldybės neformalaus ugdymo grupių užimtumo informacija nuo 2021 m. rugsėjo mėn. Duomenys apima mokinio gimimo metus, asmens kodą, lytį, mokinio priskyrimo grupei trukmę, grupės veiklą, veiklos tipą, maksimalų asmenų skaičių grupėje, taip pat nurodoma, ar tai individuali grupė, mokyklos kodas, adresas bei WGS koordinatės.

Su duomenimis susijusiais klausimais prašome kreiptis el. paštu atverimas@stat.gov.lt. Dėl techninių portalo veiklos sutrikimų prašome kreiptis el. paštu atviriduomenys@vssa.lt.

Duomenų rinkinyje pateikiami moksleivių priėmimo į bendrojo ugdymo įstaigų klases Telšių savivaldybėje duomenys. Rinkinį sudaro: prašymo data, mokslo metų pradžios data, užšifruotas mokinio asmens kodas, lytis, gimimo metai, mokslo įstaigos kodas, pavadinimas ir grupė. Rinkinį sudaro nuo 2023 m. iki dabar kaupiami duomenys.

Su duomenimis susijusiais klausimais prašome kreiptis el. paštu atverimas@stat.gov.lt. Dėl techninių portalo veiklos sutrikimų prašome kreiptis el. paštu atviriduomenys@vssa.lt.

Informacija apie vaikų priėmimo į Kretingos rajono savivaldybės mokyklinio ugdymo įstaigas pateiktus prašymus nuo 2016 m.

Su duomenimis susijusiais klausimais prašome kreiptis el. paštu atverimas@stat.gov.lt. Dėl techninių portalo veiklos sutrikimų prašome kreiptis el. paštu atviriduomenys@vssa.lt.

Kretingos rajono savivaldybės centralizuoto vaikų priėmimo į ikimokyklinio ir priešmokyklinio ugdymo grupes prašymai. Duomenys sistemoje nuo 2013 m.

Su duomenimis susijusiais klausimais prašome kreiptis el. paštu atverimas@stat.gov.lt. Dėl techninių portalo veiklos sutrikimų prašome kreiptis el. paštu atviriduomenys@vssa.lt.

Skuodo rajono savivaldybės centralizuoto vaikų priėmimo į ikimokyklines įstaigas informacinė sistema yra skirta valdyti registraciją ir priėmimą į tokias įstaigas kaip darželiai, sporto ir meno mokyklos bei socialinės priežiūros ir paslaugų šeimai centrai. Rinkinyje pateikiama prašymai nuo 2011 metų iki dabar. Sistemoje duomenis pildo ugdymo ir paslaugų įstaigos, kurios atsako už duomenų kokybę.

Su duomenimis susijusiais klausimais prašome kreiptis el. paštu atverimas@stat.gov.lt. Dėl techninių portalo veiklos sutrikimų prašome kreiptis el. paštu atviriduomenys@vssa.lt.

Lentelėje pateikti duomenys apie Kauno miesto savivaldybės vaikų priėmimo į bendrojo ugdymo įstaigas prašymus. Duomenys paimti iš Kauno miesto savivaldybės Prašymų priimti į bendrojo ugdymo mokyklas pateikimo informacinės sistemos. Duomenys atnaujinami kas mėnesį.

Su duomenimis susijusiais klausimais prašome kreiptis el. paštu atverimas@stat.gov.lt. Dėl techninių portalo veiklos sutrikimų prašome kreiptis el. paštu atviriduomenys@vssa.lt.

Biobankas – moderni aukšto technologinio lygio infrastruktūra, kurioje saugomi standartizuotai surinkti biologiniai žmogaus mėginiai ir su jais susijusi klinikinė informacija, skirta Lietuvos ir pasaulio mokslinei bei industrinei bendruomenei, siekiant plėtoti modernius biomedicininius tyrimus, kurti naujas gydymo bei diagnostikos priemones bei technologijas. Nacionalinio vėžio instituto Biobanko duomenų rinkinyje pateikimi šie su ėminiais ar jų šaltiniais (pacientais) susiję duomenys: ėminio nr., paėmimo data, lytis, amžius, TLK-10 kodas (susirgimo kodas pagal Tarpautinę ligų klasifikaciją (10 leidimas)), pTNM (Ligos išplitimo vertinimas pagal TNM sistemą (patologinis)).

Mokslo, inovacijų ir technologijų agentūros administruojamose mokslinių tyrimų ir eksperimentinės plėtros (MTEP) finansavimo priemonėse finansuotų projektų duomenys.

Su duomenimis susijusiais klausimais prašome kreiptis el. paštu atverimas@stat.gov.lt. Dėl techninių portalo veiklos sutrikimų prašome kreiptis el. paštu atviriduomenys@vssa.lt.

Mokslo, inovacijų ir technologijų agentūros duomenų bazėse registruotų žinioms imlių prekių ir paslaugų duomenys.

Su duomenimis susijusiais klausimais prašome kreiptis el. paštu atverimas@stat.gov.lt. Dėl techninių portalo veiklos sutrikimų prašome kreiptis el. paštu atviriduomenys@vssa.lt.

Duomenų rinkinys parengtas remiantis Švietimo ir mokslo institucijų registru. Rinkinyje pateikiami duomenys apie šiuo metu veikiančias švietimo ir mokslo institucijas (mokyklas, universitetus, darželius, profesinį mokymą, neformalųjį ugdymą teikiančias ir kt. įstaigas) arba institucijas, kurios šiuo metu neveikia, bet veikė po 2001 m. spalio 12 d. Rinkinyje rasite institucijų pavadinimus, JAR kodus arba, jei institucija neturi JAR kodo, ŠMIR suteikiamus institucijos padalinio kodus, institucijos registravimo datą, geoerdvines koordinates, adresą ir kt. Duomenys pateikiami ir apie savarankiškas institucijas, ir apie kitų institucijų padalinius.

Su duomenimis susijusiais klausimais prašome kreiptis el. paštu atverimas@stat.gov.lt. Dėl techninių portalo veiklos sutrikimų prašome kreiptis el. paštu atviriduomenys@vssa.lt.