Har du tankar om hur ett bra användargränssnitt borde se ut? Du kanske tycker att det klassiska grafiska användargränssnittet med fönster, ikoner, mus och pekare har tjänat oss väl, men är moget för Tekniska museet.

Du kanske har sett vad man kan göra med Apples Iphone eller Nintendos Wii. Har du egna idéer kan du ladda ner ett utvecklingspaket från Open Interface, ett EU-finansierat forskningsprojekt.

OI Tools är en bygglåda som ger programmeringskunniga personer allt de behöver för att bygga så kallade multimodala gränssnitt och koppla dem till existerande resurser. Multimodal kan översättas med ”på många sätt”.

– Apparaterna och användningssätten har funnits länge, säger Laurence Nigay, projektsamordnare för Open Interface.

– Men varje gång utvecklare vill använda dem på nya sätt, eller bara använda dem i sina applikationer, måste de utveckla hjulet på nytt, säger han till ICT Results.

Open Interface vill standardisera hopkopplingen av applikation och multimodalt gränssnitt.

Det klassiska grafiska användargränssnittet bygger på synsinnet och styrs med knapptryckningar. Man bör sitta, man bör sitta stilla, och man måste ha ögonen, händerna och axlarna på samma ställe hela tiden.


I slag. Virtuell golf med Nintendo Wii. Rörelsesensorer i fjärrkontrollen, som spelaren håller i handen, styr klubbans rörelse på bildskärmen i realtid.

Alla som har spelat datorspel med Nintendo Wii, eller sett andra göra det, vet att det finns mer gymnastiska sätt att styra en dator.

Man behöver inte få karpaltunnelsyndrom. Gester, kroppsrörelser, skakningar, nypande och klämmande kan styra en dator mer effektivt än musrörelser. Eller varför inte prata med datorn. Ibland har vi ju händerna upptagna.

Och ibland ställer det vanliga grafiska användargränssnittet höga krav på finmotorik. Man ska peka på exakt rätt fläck på bildskärmen, annars händer ingenting. I bästa fall.

Rörelser i fria luften kan ge mer svängrum. Teckenspråk kan, som alla vet som bekantat sig med teckenspråk för döva, kombinera information i en enda gest. Man behöver inte säga ”stor” först och ”hund” sedan, man kan göra tecknet för ”hund” stort.

Gester är teckenspråk för datorer, det vill säga att användaren – och datorn – måste lära sig gesterna. Om jag gör ett L med tummen och pekfingret på båda händerna och sätter ihop dem till en rektangel förstår datorn att jag vill att den ska ta en bild.

Andra rörelser är uppenbara, som upp, ner, höger vänster. När man spelar låtsasgolf med Nintendos fjärrkontroll Wiimote håller man fjärrkontrollen som en golfklubba och slår i luften. (Nej det finns ingen boll, utom på bildskärmen.)

Apples Iphone har byggt ut det vanliga grafiska användargränssnittet med rörelsesensorer och en pekskärm som kan känna av två fingrar samtidigt. Har man förstorat eller förminskat en bild med tvåfingergreppet, nypet, vill man inte göra det på något annat sätt. Nästa steg är telepati.

Och datorspelen blir mycket roligare – och enklare – när objekten på bildskärmen beter sig som om de påverkades av gravitationen.

Det gör de verkligen – indirekt. Den lilla telefonen har inbyggda sensorer som talar om vad som är upp och ner.

Apples Iphone är en av plattformarna för OI Tools. Andra plattformar är Nintendos Wii, mer exakt den avancerade fjärrkontrollen Wiimote, 3d-musen Space Navigator från Logitech, Interface-Z (ett gränssnitt som styrs av hur människor rör sig i rummet) och den egenutvecklade handhållna rörelsesensorn Shake.


Vad göra? Användaren pekar på kartan och säger samtidigt ”Förstora” eller ”Förminska”.

Målet för forskningen är inte i första hand att utveckla nya användargränssnitt. Snarare går det ut på att lära sig hur de applikationer som redan finns, liksom de som kommer i framtiden, ska kunna anpassas till nya former av interaktion.

Många av Open Interfaces experiment handlar om grundläggande handgrepp:
* Att visa ett bildspel knapplöst.
* Att zooma ut och in med rörelser.
* Att spela datorspel knapplöst.
* Knapplös fjärrkontroll till satellitbilderna i Google Earth.
* Iphone och Wiimote som fjärrkontroll till Google Earth med både rörelse- och fingerstyrning.
* Geststyrning med gester som användaren själv programmerar in.
* Kombinerad röststyrning och pekning.

– Alla applikationerna har tagits fram bara för att vi vill visa hur snabbt man kan utveckla och skapa prototyper av nya gränssnitt för persondatorer och mobiltelefoner med Open Interface-ramverket, säger Laurence Nigay.

Ingen av lösningarna är unik. Liknande forskning pågår på många ställen i världen, även i Sverige. Företag som Nintendo och Apple underlättar utvecklingen genom att massproducera verktygen så att de kommer ner i överkomliga priser. Men Open Interface arbetar alltså med programmerarnas gränssnitt till de nya användargränssnitten.

Fakta

Målet för det EU-finansierade forskningsprojektet Open Interface är inte primärt att utveckla nya typer av användargränssnitt, utan att standardisera sättet att koppla nyutvecklade användargränssnitt till applikationerna. Den som vill styra en applikation med röststyrning, gester eller en knapplös fjärrkontroll ska kunna koncentrera sig på själva användargränssnittet – inte på hur man ska få det att fungera ihop med applikationen. Projektet är ett samarbete mellan universitet och företag i tio europeiska länder. Projektledningen finns på universitet i Grenoble.
Se www.oi-project.org.