Page MenuHomePhabricator

Lisää Kuvasiskojen kuviin lähdetiedot Structured data on Commons muodossa
Closed, ResolvedPublic

Description

Kuvasiskojen kuvista puuttuu kuvan lähdetiedot koneellisesti luettavassa muodossa. Tavoitteena on lisätä sellaiset tiedot joilla kuva ja sen lähde on jatkossa yksilöitävissä ohjelmallisesti.

TODO

  • Lue kuvasivulta / päättele kuvasivun linkeistä kuvan Finna_id.
  • Varmista, että kuva todella vastaa tiettyä Finnassa olevaa kuvaa phash/dhash vertailun avulla
  • Lue Finnan tiedoista kuvan collection tieto. Todennäköisesti kaikki Finnasta löytyvät Museoviraston Kuvasiskojen kuvat kuuluvat samoihin kokoelmiin, mutta asia on hyvä varmistaa.
  • Lisää tiedot SDC muodossa

Lisättävät tiedot

  •  P195 (Collection)
  • P9478 (Finna-tunniste)
  • P7482 (source of file) (pidä Finna id urldekoodattuna linkissä jotta se on helpommin luettavissa)

Esimerkkikuva

Alustava koodi-esimerkki ominaisuuksien lisäämiselle

Kohdeluokat commonsissa

Event Timeline

Zache updated the task description. (Show Details)
Zache updated the task description. (Show Details)
Zache renamed this task from Lisää Kuvasiskojen kuviin lähetiedot Structured data on Commons muodossa to Lisää Kuvasiskojen kuviin lähdetiedot Structured data on Commons muodossa.Jun 4 2023, 9:43 AM
Zache updated the task description. (Show Details)
Ipr1 changed the task status from Open to In Progress.Jun 6 2023, 1:07 PM

Tee siihen tuo, että se hakee finnasta sen recordin ja tekee dhash/phash finnan thumbnailin ja commonsin thumbnailin välillä ihan vain siksi, että siihen tulee varmuus että kuvat oikeasti vastaa oletettua id:tä. Eli jos sokkona luottaa niihin commonsin tietoihin niin siellä väistämättä tulee kaikenlaisia virheitä sen takia, koska commonsin mallineisiin kirjattu data ei ole tasalaatuista. Samalla siinä pystyy hakemaan sen päivittyneen finna id:n jos esimerkiksi se id on muuttunut alkuperäisen tallennuksen ja tämän päivän välillä.

Tein tuolle imagehash tietokannalle www-rajapinnan. Se palauttaa listan artikkeleista jotka vastaavat käytettyä hashia. Finna id:tä lukuunottamatta toimii pelkästään kuvilla jotka ovat indeksoituna. Finna id:n kohdalla systeemi hakee thumbnailin Finnasta ja laskee sille phash/dhash arvot, mutta tämä on merkittävästi hitaampaa. Suomalaisista kuvista pitäisi olla indeksoituna kaikki joissa .fi -domainiin päättyvä linkki ja merkittävä osa muista myös.

Parametrit

dhash+phash -haku (molemmat tarvitaan)

Page_id haku. Kuten edellinen, mutta vertailtavat hashit valitaan suoran phash+dhash:n sijaan kuvan id:llä. Toimii ainoastaan kuvilla jotka ovat valmiiksi indeksoituna. Annettu kuva on mukana tuloslistassa.

Page title haku. Kuten edellinen, mutta hakee ensin kuvan nimen perusteella kuvan id:n jolla tekee page_id -haun.

Finna id:llä (toimintaperiaate, hakee Finna id:llä Finnasta recordin, siitä linkin thumbnailiin, laskee thumbnailista dhash/phash arvot ja tekee niillä phash+dhash haun.

Taltene linkki myös SPARQL-kyselyyn joka hakee Category:Kuvasiskot -luokassa olevien artikkeleiden Structured data on commons -tiedot wikidata-kohteina. Se ei hae labeleita, koska en keksinyt miten sen saisi pistettyä tuohon mukaan ilman, että kysely hidastuu merkittävästi ja tarvitsin vain wikidata-itemeitä. Vaatii sisäänkirjautumisen Oauth:lla.

  • lisätty että hakee aliluokkien tiedostot yhden tason syvyyden verran
  • kuvakokoelmat.fi tunnusten käsittely (setfinnasource-skripti, joka on erikseen ajettava)
  • lisää collectionit: jostain syystä pywikibot ei käsittele batcheja (useamman collectionin lisäämistä kerralla) oikein vaan vain viimeisin jää voimaan jos ei erikseen talleta jokaista, katsottava vielä onko jotain pywikibotin api:ssa jota pitäisi käyttää tähän tarkoitukseen mutta muutoin tehtävä nyt jokaisen collectionin talletus erikseen

lisää collectionit: jostain syystä pywikibot ei käsittele batcheja (useamman collectionin lisäämistä kerralla) oikein vaan vain viimeisin jää voimaan jos ei erikseen talleta jokaista, katsottava vielä onko jotain pywikibotin api:ssa jota pitäisi käyttää tähän tarkoitukseen mutta muutoin tehtävä nyt jokaisen collectionin talletus erikseen

Ei ole tapaa tallentaa Structured data on Commonsissa useita arvoja kerralla. Periaatteessa se onnistuu Wikidatan puolella näin, mutta tämä puuttuu (tai ei toimi) Commonsissa.