Tulossopimusten tekstianalyysi

Journal number
Year of completion
2021
Administrative branch
Valtiovarainministeriö

Mitä ongelmaa ratkaistiin ja miksi?

Analyysin tavoitteena oli tunnistaa tekstianalytiikan keinoin, millä tavalla julkisen hallinnon strategian tavoitteet ihmiskeskeisyydestä, hallinnon yhtenäisyydestä ja yhdessä tekemisestä tulevat esiin virastojen tulossopimuksissa. Pyrkimyksenä oli muodostaa pohja tulevien vuosien tarkastelulle, jotta tulevien tulossopimusten sisällön kehitystä voidaan vertailla strategian näkökulmasta.

Mitä tehtiin?

Tulossopimusten ja toimintalinjausten lauseiden semantiikkaa vertailemalle voidaan pyrkiä selvittämään, esiintyvätkö toimintalinjausten sisällöt tulossopimuksissa.

Vuoden 2021 tulosopimukset pilkottiin lauseiksi ja julkisen hallinnon strategian toimintalinjauksista 1 (ihmislähtöiset palvelut) ja 5 (yhtenäinen hallinto) muodostettiin vertailtavia lauseita. Toimintalinjausten lauseet eivät sellaisenaan soveltuneet käytetylle menetelmälle, sillä ne ovat monimerkityksellisiä eivätkä vastaa tapaa, jolla virastot saattaisivat tuoda asioita esille tulossopimuksissa.

Tulossopimusten ja toimintalinjauksista muodostettujen lauseiden semanttista samankaltaisuutta mitattiin Sentence-BERT -mallilla. Tekstin semanttisen samankaltaisuuden mittaaminen tarkoittaa samankaltaisuuden laskemista sellaisten termien tai lausumien välillä, joilla on sama merkitys.  Sentence-BERT (sBERT) on luonnollisen kielen käsittelymenetelmä, joka käsittelee kutakin lauseen sanaa suhteessa lauseen muihin sanoihin ja tätä kautta pyrkii ymmärtämään sanan asiayhteyden. Mallin tuottamien lausevektoreiden samankaltaisuuden mittaamisen metriikkana käytettiin kosinisamankaltaisuutta (cosine similarity).

Mitä saavutettiin?

Lauseita, joilla on sama merkitys, nousi esiin jonkin verran, mutta yksiselitteisten johtopäätösten vetämistä analyysistä hankaloittaa muun muassa seuraavat aineistoon ja menetelmään liittyvät asiat.

  • Toimintalinjauksista muodostetut lauseet eivät välttämättä sisällä kaikkea oleellista tietoa, jotka saattaisivat jossain toisessa muodossa tulla esiin tulossopimuksissa.
  • On hankala määrittää millä tasolla toimintalinjausten asiat tulisi näkyä tulossopimuksissa. Riittääkö, että asia tulee kerran esille, vai tuleeko sen esiintyä useasti eri konteksteissa?

Tulosten mahdollinen merkitys syntyy vasta, kun vertaillaan analyysin tuloksia tulevien vuosien tulossopimuksista tehtyyn vastaavaan analyysiin.

Mitä seuraavaksi?

Analyysi toteutetaan myöhemmin uudelle sarjalle tulossopimuksia. Mikäli strategian linjaukset huomioidaan paremmin seuraavassa sarjassa tulossopimuksia, voidaan olettaa, että merkityksellisten lauseiden määrä sekä niiden kosinisamankaltaisuuksien keskiarvo kasvaa.