AU

Nye virkeligheder i undervisningen


Teknologier til at skabe virtuelle verdener eller blande virkelighed og virtuel verden er vidt udbredt i dag. På Syddansk Universitet undersøger forskere, hvordan man kan udnytte disse teknologier til undervisning og træning.


Af Gunver Majgaard


Masser af danskere bruger i dag teknologierne Virtual Reality (VR) og Augmented Reality (AR) med den største selvfølgelighed. Virtual Reality betegner som bekendt en virtuel verden, mens Augmented Reality blander det fysiske og virtuelle miljø – de mest kendte eksempler er nok spillet Pokemon Go og Snapchat. Begge applikationer kombinerer smartphonekamera og grafik i samme visning.

Vi er nu ved at undersøge, om teknologien er moden nok til at kunne anvendes med lige så stor selvfølgelighed til undervisning og træning, og hvordan man bedst bruger den til disse formål. Umiddelbart har Extended Reality, som er en samlebetegnelse for VR og AR, en række egenskaber, som virker oplagte at udnytte i undervisnings- og læringssituationer:

  • Det giver mulighed for statisk og dynamisk visualisering af 2D- og 3D-systemer
  • Det kan give intense oplevelser (som at være der selv)
  • Det giver mulighed for at inter­agere med det virtuelle system

I undervisningssammenhænge bliver alle disse elementer ofte udnyttet i kombination.

I denne artikel vil jeg introducere teknologierne og præsentere en række konkrete eksempler på, hvordan teknologierne er anvendt i læringssammenhænge i folkeskolen, gymnasiet, universitetet og på sundhedsområdet.

På druk med VR

Spillet VR FestLab er et eksempel på et interaktivt 3600 VR spil, hvor man kan eksperimentere med at drikke forskellige mængder af alkohol i VR og opleve effekterne. Målgruppen er unge i 8.- 10. klasse, som snart skal skifte til ungdomsuddannelse. Ideen er, at de unge i en virtuel verden skal opleve alkohols virkning og lære at identificere og imødegå gruppepres. I spillet er man først til en forfest og derefter til en større fest. Til festen kan man flirte, gå i baren og danse. Man kan også opleve en ven, der bliver fuld og kaster op og vælge at hjælpe ham. Jo mere, man vælger at drikke i simulationen, des sværere bliver det at styre simulationen, og man risikerer også, at festen slutter for tidligt med et blackout. I øjeblikket bliver det testet, om spillet har en forebyggende effekt på alkohol­indtaget hos målgruppen. Spillet er udviklet i et samarbejde mellem Syddansk Universitet, SSP, Trygfonden og Askov høj- og efterskole. Vi skal netop til at gå i gang med at udvikle en tysk version af spillet.

Digitale tvillinger

En digital tvilling er en digital kopi af et fysisk objekt eller område – det kan for eksempel være en forretning som et byggemarked, hvor Det Blå Gymnasium i Sønderborg og CIU har arbejdet med Davidsens byggemarked, som er fotograferet med et særligt 360°-kamera. Den digitale tvilling af byggemarkedet kan besøges med en VR-briller eller fra en computer. I en undervisningssammenhæng kan man eksempelvis først besøge byggemarkedet med VR-brillen for den mere intense oplevelses skyld og derefter genbesøge simulationen på computeren for at kunne analysere setuppet. Digitale tvillinger af forretninger kan bruges i forbindelse med undervisning af handelsskoleelever, som skal lære at analysere produkteksponering, iøjnefaldende områder, kundestrømme og butikslayout.

Digital tvilling af byggemarked, som kan anvendes fx af HHX. Man kan bevæge sig rundt i butikken ved at klikke på de runder markeringer, se figuren. Man kan også se butikken fra oven eller måle områder butikken. Illustrationer fra ciuud.dk


CIU Center for IT i Undervisningen er et nationalt center, som understøtter brug af IT på erhvervsskolerne, og de arbejder i øjeblikket med at udvikle undervisningsscenarier og optagelser med denne type teknologi. I industrien har for eksempel Grundfos med succes udviklet digitale tvillinger til træning af nye medarbejdere til montage af vandpumper. Digitale tvillinger spås at have et stort potentiale til teknisk salg, træning og læring.

Digital produktion på ungdomsuddannelserne

I projektet Arducation.dk, arbejder partnerne på at udvikle undervisningsforløb, der inddrager VR og AR i ungdomsuddannelserne (specifikt inden for handel og teknik, dvs. EUD og HHX/HTX/EUX). Et af de værktøjer, vi arbejder med i projektet, er Cospaces, hvor man med drag and drop i kombination med blokprogrammering kan opbygge simulationer i VR og AR fra et browservindue. Simulationen kan så testes på en nyere smartphone. Man kan arbejde med produktet både i udskolingen og på ungdomsuddannelserne. Første undervisningsforløb var et introforløb til cospaces, hvor de faglige mål var knyttet til konstruktion af IT-systemer i informatikfaget på HHX. 26 elever udviklede på 80 minutter en simulation af en mand, som kører på cykel i AR. I øjeblikket afprøver underviserne selv værktøjet og udtænker undervisningsforløb for eksempel arbejder Det Blå Gymnasium Vestfyn med visualisering af SWOT-modellen (en model til at analysere styrker, svagheder, muligheder og trusler i et projekt) vha. af en fysisk terning. Eleverne får med cospaces erfaring med at udvikle AR- og VR-programmer i informatikfagene.

HHX 1.g fra DBG i Sønderborg har for nyligt gennemført temauge med værktøjet Zapworks AR (som minder om Cospaces), som kombinerede samfundsfag, matematik og informatik. Forløbet kredsede om Sønderborgs byudvikling, hvor eleverne udarbejdede regressionsanalyse over befolkningstilvæksten, som kombineredes med gamle bykort. Zapwork blev anvendt til visualisering af særlige nedslagspunkter i byudviklingen, som har haft betydning for kultur, økonomi, politik, geografi, teknologi, endog udvandring.

Cospaces

Cospaces til konstruktion af AR simulationer vha. drag and drop og blokprogrammering. (Klik for at se dem i en større udgave). Illustrationer: Gunver Majgaard.

Om Extended Reality

VR-brille. Med sensorer registrerer brillerne hovedbevægelser, og helt nye briller kan også registrere pupillerne og dermed, hvor man kigget hen. Ofte vil der være controllere til interaktion.

Augmented Reality (AR) og Virtual Reality (VR) er nye teknologier, der bruger mobile enheder såsom smarte headset, smartphones og tablets. Hvor VR finder sted i et virtuelt miljø, blander AR det fysiske og virtuelle miljø. Denne blanding kan illustreres som et kontinuum mellem de fysiske omgivelser og det virtuelle miljø (se figur).

VR er en computergenereret grafisk simulering til at skabe illusionen om deltagelse i et virtuelt tredimensionelt syntetisk miljø. Den virtuelle oplevelse præsenteres stereoskopisk i en hovedmonteret lukket brille med to skærme, der registrerer hovedbevægelser.

Når man bevæger hovedet i en vilkårlig retning i VR, bevæger simulationen sig tilsvarende. Hvis der er lidt forsinkelse mellem hovedbevægelser og simulationens bevægelser, kan det give brugeren kvalme og ubehag, der minder om køresyge.

Det kan også opstå, hvis man i VR kører i rutsjebane eller går rundt, selvom man i den fysiske verden sidder helt stille. Når man udvikler nye VR-programmer, skal man derfor designe, så brugerne ikke bliver syge med mindre det er meningen (i rutsjebane- og flyvespil vil man eksempelvis gerne påføre brugeren milde symptomer på bevægelsessyge).

VR forbindes ofte med begrebet immersion, som dækker over intense oplevelser, der er meget tæt på. Selvom man har store tunge briller på og kigger på en grovkornet simulation, så narres ens sanser, så man føler, at man er der.

Hvor VR finder sted i en virtuel verden, blander AR det fysiske og virtuelle miljø. De mest kendte eksempel på AR er måske spillet Pokémon GO og Snapchat. I begge applikationer kombineres smartphonekamera og grafik i samme visning.

Illustrationer VR og AR

Extended Reality-kontinuummet med de fysiske omgivelser helt til venstre og VR helt til højre. Indimellem ligger AR og 3600 VR.
Det indvendige af brillerne er delt op i to dele, så man kan understøtte dybdevisning – eller det stereoskopiske perspektiv. Jorden vises lidt forskudt på de to skærme.
Eksempler på AR i Pokémon GO og Snapchat. Foto: Stig Stasig
Eksempler på AR i Pokémon GO og Snapchat.

Hjælp til tolkning af scanningsbilleder

Det er en kompliceret opgave for medicinstuderende at fortolke og relatere 2D-billeder til den tredimensionale krop. Vi har udviklet en applikation, som kan hjælpe medicinstuderende med at fortolke todimensionale CT-skanningsbilleder (computer tomografi). Applikationen er baseret på en teknologi kaldet Hololens, som er en AR-brille, hvor man kan se sine fysiske omgivelser, samtidig med at man får projekteret grafik op på indersiden af brillen. Vi ønskede i projektet at undersøge styrker og svagheder ved Hololens-teknologien i forhold til at bruge den til undervisning og læring.

I AR-verdenen ser man et standardiseret hologram af en mandlig krop kombineret med udvalgte billeder fra et CT-billede. CT-billederne præsenteres i de rette rumlige positioner som skiver i hologramkroppen. Man kan så vælge, hvilke strukturer der vises på kroppen (for eksempel hud, vaskulært system osv.). Man kan gå rundt om hologramkroppen, se detaljer tæt på og sammenligne den samtidige præsentation med de forskellige CT-billeder. At arbejde med Hologrammer kan syntes besnærende, men i praksis er teknologien ikke helt moden endnu. Eksempelvis er det temmelig indviklet at interagere med håndtegn eller talegenkendelse. Man skal tit forsøge sig flere gange, før det virker. Men om et par år kan det være, at der kommer et godt og billigere produkt på markedet, som vi kan eksperimentere med.

Hologrammand i 3D og CT-skanning i 2D.

Kognitiv træning og læring på sundhedsområdet

I et andet projekt indenfor sundhedsområdet har vi kombineret interaktive 360°-videoer og 3D-grafik til træning af indlagte patienter med spiseforstyrrelser. Formålet er at gøre patienterne bedre til at handle dagligvare som en del af at kunne leve et normalt liv. I samspil med terapeuten løser patienten de problemer, som kan opstå, hvis butikken er løbet tør for en konkret type madvare, og støtter patienten i at vælge et alternativ. Rent teknisk er der scannet brød og frugt ind med en 3D-scanner, og disse objekter er så herefter placeret i softwarescenen og gjort interaktive. Det giver en mere direkte interaktivitet med objekter i simulationen, og det giver også en bedre tredimensionel oplevelse.

Et andet eksempel, hvor 360 °-VR vinder udbredelse, er interaktive eksponeringsvideoer til at understøtte kognitiv adfærdsterapi til behandling af patienter med social angst. Ideen er at træne patienterne i at være i sociale situationer og leve et mere normalt liv uden for hjemmet, for eksempel køre bus, sidde på en bænk med en fremmed, tale i store forsamlinger, spise i kantinen på arbejde eller handle ind i et storcenter. 360°-scenarierne anvendes som en del af terapien under vejledning af en terapeut. Vi deltager i øjeblikket i et forsøg, hvor vi sideløbende med eksponeringen måler biometriske data, for eksempel sved, pupil og puls. Disse ekstra data bruges i terapien til at guide graden af eksponering. Projektet er i sin begyndelse, men vi har allerede en første version af et scenarie, som foregår på en bænk, hvor der sidder en person. Situationen vil for de fleste mennesker se meget uskyldig ud, men hvis man lider af social angst kan det trigge angsten at skulle sætte sig ved siden af en fremmed. Samarbejdspartnere i projektet er Trygfonden, I-motion, Telepsykiatrisk Center og Syddansk Universitet.

Kugleskal med 360°-video klistret på indersiden. De sorte rektangler er dialog-bokse. Illustrationer: Gunver Majgaard.

360° VR

En af de nyeste VR-trends er 360°-teknologi. Der optages videoer eller stillbilleder med 360°-kamera, der som oftest består af to ultra-vidvinkel fiskeøjelinser. De to 180°-billeder bliver så klistret sammen i software. For at videosekvenser eller stillbilleder kan opleves i VR-briller, skal de placeres på indersiden af en kugleskal. Brugeren står i centrum, se billederne. Man kan anvende den dansk udviklede spilmotor Unity til at udvikle sekvenser af kugleskaller, interaktivitet og spilelementer.  360°-videoer er en billig måde at skabe indhold til en VR-oplevelse.

Kameraer fås fra under 2000,- kroner. I en undervisningssituation kan man på denne måde besøge virksomheder i Kina eller steder, som det ellers ikke er nemt at komme, for eksempel Keopspyramiden.

Immersive vs non-immersive visning

VR- og 360°-oplevelser kan opdeles i to kategorier: immersive, som opleves igennem en VR-brille, og non-immersive, som opleves på en desktop, tablet eller smartphone. Det kan være den samme applikation. Vi kender især non-immersive 360°-visning fra Google Maps street-view.

I en undervisningssammenhæng er det ofte nemmere at arbejde med non-immersive visning, idet det ikke kræver særligt udstyr udover adgang til en web-browser. Flere elever kan også samtidig dele oplevelser og evt. sammen arbejde med undervisningsaktiviteter. Non-immersive oplevelser er dog ikke så intense følelsesmæssige oplevelser.

Eksempel på immersive visning til venstre og non-immersive visning til højre.

Nye muligheder i undervisningen

I en terapeutisk sammenhæng er man nu sine steder så langt, at VR- og AR-teknogien skal tænkes sammen med den normalt tilbudte terapi. Til gengæld er det helt nyt at arbejde med teknologien på ungdomsuddannelserne, og det tager tid at udvikle relevante undervisningsforløb. Og undervisningsforløbene skal også kunne noget andet og mere end de traditionelle undervisningsmidler for at vinde indpas. Derfor er det vigtigt, at undervisere selv er nøglepersoner i udviklingen af undervisningsforløbene, således de har ejerskab og selv kan optimere didaktik, elevaktiviteter mv.

I denne artikel har jeg igennem eksempler peget på noget af det unikke ved disse nye teknologier. Det er særligt den intense oplevelse (på fagsproget kaldet ”immersion”), at opleve noget, der ellers ikke er tilgængeligt, og koblingen af 2D- og 3D-verdener, som er det unikke. Derudover bliver de unge på uddannelserne bedre forberedt på vores fælles digitale muligheder og fremtid. Da flere af teknologierne som nævnt endnu ikke er helt modne, kan vi forvente, at mulighederne bliver flere og prisen lavere i takt med at teknologien udvikler sig yderligere. ♦

Eksempel på eksponeringsterapi med 360o-simulation. Scenariet har titlen ”Kvinden på bænken” – patienten kan ved at trykke på den grønne knap sætte sig ved siden af kvinden. Man skal så blive siddende, selvom hun taler i telefon og endda taler til en.