Itseohjautuvat ajoneuvot ja muut robotit tekevät tuloaan. Robottiauton täytyy pystyä ”näkemään” ihmisiä, esteitä ja muita objekteja liikkuessaan, joten konenäöllä on suuri merkitys robotiikassa. Kolmiulotteisessa maailmassa konenäön pitää pystyä tunnistamaan objekteja ja arvioimaan etäisyyksiä, sekä sijoittaa itsensä kartalle kuvapohjaisen paikannuksen avulla.

”Konenäkö tarkoitti pitkään kaksiulotteisten kuvien analyysiä, pääasiassa kuvantunnistusta. Maailma on kuitenkin kolmiulotteinen, ja konenäön pitää pystyä havaitsemaan ja ymmärtämään näkymän kolmiulotteinen rakenne”, selventää tietotekniikan professori Janne Heikkilä Oulun yliopiston Konenäön ja signaalianalyysin tutkimuskeskuksesta (Center for Machine Vision and Signal Analysis eli CMVS).

”Kuvantunnistuksessa konenäkö päihitti ihmissilmän jo vuosia sitten”, Heikkilä kertoo. ”Nyt haasteena on kolmiulotteisen tiedon hyödyntäminen ympäristön havainnoinnissa.”

Professori Heikkilän johtamassa ja Suomen Akatemian rahoittamassa tutkimushankkeessa kehitetään menetelmiä kuvapohjaiseen tunnistamiseen, mallinnukseen ja paikannukseen 3D-konenäön avulla. Tutkimustuloksia hyödynnetään pääasiassa lisätyn todellisuuden ja virtuaalitodellisuuden sovelluksissa sekä esimerkiksi esineiden virtuaalisten kopioiden luomisessa.

”Hankkeemme koostui monista yksittäisistä tutkimusongelmista, joiden selvittäminen vie alaa eteenpäin.”

Neuroverkot myös kolmiulotteisuuden taustalla

Konenäkötutkimus on ollut tärkeä pala tekoälyn kehittymisessä: vuonna 2012 tehty syväoppimisen läpimurto pohjautuu konenäkösovellukseen.

”Suuri edistysaskel on tehty syvien neuroverkkojen myötä ja seuraavaksi neuroverkkoja opetetaan tunnistamaan kolmiulotteisia ilmiöitä”, Heikkilä kertoo.

Mitä neuroverkot itse asiassa ovat, ja miten ne liittyvät konenäköön?

”Neuroverkoilla eli keinotekoisilla hermoverkoilla pyritään jäljittelemään aivojen biologista päättelyprosessia. Ne koostuvat yksinkertaisista laskentaelementeistä, joita liitetään toisiinsa ihmisen hermokudosta muistuttaen. Neuroverkkoja voidaan opettaa erilaisten opetusaineistojen avulla, esimerkiksi opetuskuvilla.”

Neuroverkot toimivat mustan laatikon tavoin: neuroverkoille näytetään opetuskuvia ja kerrotaan, mitä ne esittävät, ja tässä prosessissa neuroverkot oppivat kaikki tarvittavat parametrit. Tästä käytetään englanninkielistä nimitystä end-to-end-learning.

Kun neuroverkkoja laitetaan monta kerrosta päällekkäin, puhutaan syvistä neuroverkoista.

”Syvien neuroverkkojen myötä konenäkö pystyy aiempaa monimutkaisempiin suorituksiin. Se pystyy tunnistamaan kuvista erittäin korkeatasoisia piirteitä. Perinteisessä konenäössä käytettiin käsin valmistettuja piirteitä ja luokittelijoita, joista rakennettiin tunnistusjärjestelmä. Neuroverkot puolestaan oppivat datan perusteella, mistä tulee käsite big data”, Heikkilä sanoo.

3D-konenäöllä paljon sovelluksia

Virtuaalinen todellisuus on jo pitkään ollut pelimaailmoista tuttua. Siinä liikutaan tietokonegrafiikan avulla luodussa keinotekoisessa ympäristössä virtuaalilasien avulla.

”Lisätty todellisuus puolestaan yhdistää virtuaalista todellisuutta ja todellista todellisuutta, eli silmillä havaitsemaamme ympäristöön lisätään tietokonegrafiikan avulla kolmiulotteisia, virtuaalisia objekteja. Esimerkiksi Pokemon Go -peli perustuu lisättyyn todellisuuteen, mutta puutteellinen käyttäjäkokemus ja näyttöteknologian haasteet ovat toistaiseksi rajoittaneet lisätyn todellisuuden pelien yleistymistä laajemmassa mittakaavassa.”

”Microsoftin valmistamat HoloLens-lasit edustavat uutta lisätyn todellisuuden näyttöteknologiaa, joka mahdollistaa kolmiulotteisten hologrammien lisäämisen käyttäjän näkökenttään. Tällaista tekniikkaa voidaan soveltaa esimerkiksi kunnossapitotehtävissä. Jos meillä on olemassa tarkka 3D-malli kohteesta, esimerkiksi rakennuksesta, pintojen alla piilossa olevien rakenteiden kuten putkien tai sähköjohtojen sijainti voidaan havainnollistaa korjaajalle röntgenkatseen tavoin”, Heikkilä kuvailee.

Ajoneuvoihin on pian tulossa lisätyn todellisuuden apuvälineitä, eli auton tuulilasiin voidaan lisätä virtuaalisia objekteja, esimerkiksi opasteita tai säähän ja ajokeliin liittyvää informaatiota.

”Kolmiulotteista konenäköä käytetään myös erilaisiin mittaussovelluksiin. Olemme yritysyhteistyössä kehittäneet metsäkoneisiin sovelluksen, jolla mitataan kaadetun puun tilavuus. Kun tukki on kiinni kaatokoneen saksissa, sovellus mittaa puun pituuden ja halkaisijan pelkästään kuvatiedon perusteella.”

Virtuaalinen sovituskoppi voi pian olla jokaisella taskussaan.

”Kännykällä voidaan kuvata ja mitata ihmisen dimensioita, ja tietoa käyttää vaatteiden sovitukseen virtuaalisesti. Helpottaisi kovasti vaateostoksilla käymistä”, Heikkilä naurahtaa.

Kolmiulotteista konenäköä käytetään myös ihmisen liikkeiden mallittamiseen, esimerkiksi siihen, miten kädet liikkuvat. Tietoa voidaan hyödyntää pelien ohjauksessa, tai animoida tämän perusteella virtuaalihahmoja.

”Elokuvateollisuus käyttää motion capture -tekniikkaa, missä seurataan ihmisen liikkeitä ja saadaan usealla kameralla kolmiulotteinen liiketieto, joka siirretään elokuvan hahmolle.”

”Yksi tärkeä sovellusalue 3D-konenäölle on laskennallinen valokuvaus. Kameroissa voidaan hyödyntää kolmiulotteista tietoa monella tavalla. Meillä on tutkittu muun muassa ratkaisua, jossa on useampi halpa kameramoduuli vierekkäin. Niiden avulla näkymästä saadaan laskettua syvyyskuva, jota voidaan hyödyntää valokuvan tarkentamiseen eri etäisyyksille kuten kalliissa järjestelmäkameroissa, mutta tarkentaminen on mahdollista myös jälkikäteen, kun kuva on jo otettu”, Heikkilä sanoo.

”Pitkän ajan tavoite hankkeessa on, että lisätyn todellisuuden lasien läpi katsottua näkymää pystyttäisiin muuttamaan reaaliaikaisesti, ei siis pelkästään lisäämään siihen jotain virtuaalisia objekteja. Voitaisiin lennosta muokata näkymää, jonka ihminen näkee, vaikkapa värittämään jokin objekti tai hävittämään se.”

”Tähän tarvitaan kolmiulotteista mallintamista ja kuvasta mitattua paikkatietoa”, Heikkilä kiteyttää.

Teksti: Satu Räsänen
Kuva: Mikko Törmänen/Oulun yliopisto