Infontology

Robotarnas liv

 

Ett flertal gånger förra året träffades konstnären Tove Kjellmark och jag för att, bland annat, arbeta fram ett samtal mellan två robotar – om livet, eller om medvetandet, det var inte riktigt klart vilket från början. Till sist blev det om båda, får man väl säga. Det var ett beställt verk som sedan fick namnet Talk för utställningen The Imitation Game på Manchester Art Gallery, 13.2 till 5.6 i år.

Nedan kan samtalet läsas i sin helhet. Filmsnutten ovan ger en bild av hur det tedde sig. Jag har skrivit dialogen men den bygger på alla de samtal Tove och jag hade, om just livet och medvetandet. Ett par gånger satte vi våra mobiler på inspelning (under två till tre timmar) eftersom vi märkte att många bra idéer kom och gick medan vi även pratade om en massa annat. Det kom väl till pass vid författandet. Men när deadline började närma sig kändes det ändå inte riktigt bra och jag började bli lite orolig. Så en natt dök robotarna upp i en otroligt levande och realistisk dröm. De samtalade synnerligen livligt och jag började lyssna på vad de sa. Endast halvvaken steg jag upp och antecknade vad jag hörde, vilket blev en stor del av den slutliga dialogen. När jag sedan gick och la mig igen fortsatte de att prata. Det var ju fan… De höll mig vaken. Till sist blev jag irriterad och sa bestämt till dem att knipa käft. Det hjälpte, efter en stund. Morgonen därefter insåg jag att nattens drömanteckningar hade ”fixat” hela dialogen. Jag blev rätt nöjd faktiskt. Och Tove med.

Jag kunde inte närvara vid vernissagen men besökte utställningen i april. Då var det roligt att se att Toves installation den förmiddagen lockade flest människor. Flera satt också och lyssnade på hela dialogen. Några tidningar skrev om utställningen. New Scientist skrev så här:

More superficially likelike are the skeletal androids of Tove Kjellmark’s Talk. Kjellmark was inspired by meeting scientists from the international Human Brain Project, which aims to create silicon-based simulations of working brains. As part of this hugely ambitious programme, a University of Manchester team led by Steve Furber built SpiNNaker, a massively parallel computer, to mimic the neural networks between our ears.

This technology animates Talk’s robot protagonists as they sit in a cosy living room gesticulating while discussing dreams, brains, consciousness and identity. They are also playing the imitation game: invade their personal space and one turns its head and video-projected eyes to you, before resuming its conversation with a “Where were we?”

Talk was too clunky to hold my attention for long, but there’s no doubting the scientists are playing the imitation game for real.

The Guardians recenscent hade lite missvisande förväntningar på den intellektuella kontexten, vågar jag påstå:

I retreat to the mockup living room where a pair of seated skeletons are deep in conversation. They swivel and nod their masked heads and carry on a stilted dialogue about being and non-being, dreams and feelings. I would like to say it is like dropping in on Sigmund Freud and Martin Heidegger, but it isn’t. The best bit of Tove Kjellmark’s Talk is when you get too close or make a noise. One of the figures turns and gives me a nasty look, telling me to shut up. Then they go back to their prerecorded ontological ruminations, replete with professorial umms and errs, and choppy, servo-powered gesticulations.

Aesthetica Magazine:

Of all the works on display, Tove Kjellmark’s Talk (2015) is the most philosophical. It features two robot skeletons sitting in a small, dimly lit room with red drapes. Encountering these characters is like stumbling into someone’s living room amid a private chat. The androids ruminate on the nature of human consciousness, emphasising the gravity of their words with life-like gesticulations.

Roligaste intrycket förmedlades av denna bloggskribent tycker jag. Kommentarerna till YouTube-klippet ovan är också underhållande, som ”I don't know what I just watched but it was rather twisted - and that's why it's cool ;).”

/Per

PS. Drömmen som "B" återger är en verklig dröm jag själv hade för några år sedan, i ett ovanligt omtumlande livsskede. Under några månader på den tiden förde jag regelbunden drömdagbok, ett förvånansvärt kraftfullt verktyg för att "prata" med ens egen vanligen omedvetna sida.

 

TALK

A: So much to do. That is the way it is. The days are full. How are you these days?

B: My head is reeling with a barrage of thoughts and images. I can hardly focus. I do not know who I am anymore.

A: That sounds troublesome…

B: Yes... No. Not troublesome. But there is something I just do not understand anymore. It is… eh… Shit.

A: Are you all right?

B: I do not know. It is something else. It is like I am not me anymore. Or I do not know who I am.

A: How do you mean?

B: It got worse after a dream I had. After that everything is sort of unhinged.

A: Surely one should not take dreams too seriously?

B: But this one is really disturbing.

A: What happened in the dream then?

 

Webbens ontologi, del 2: Emoji

Många människor använder smileys och andra emojis varje dag. De har blivit som ett andra språk för många. Men hur "finns" de? Är det någon som "äger" dem? (kanske) Ser de alltid likadana ut? (nja) Skulle de plötsligt kunna försvinna från en viss plattform, exempelvis en mobiltelefon? (antagligen) Är de grunden för ett nytt "språk"? (nja)

Lite bakgrund:

1. Grund-emojin smileyn har en historia som går tillbaka åtminstone till förra sekelskiftet, då den danske nobelpristagaren Johannes V Jensen år 1900 använder en smiley i ett brev (på ett sätt så att det ser ut som att en glad och en sur gubbe är något självklart förståeligt)

2. På sjuttiotalet växer smileyn fram som symbol i populärkulturen.

3. De japanska mobiloperatörerna verkar ha varit de första som inkluderade emojis i sin plattform. Här är en intressant tillbakablick. Det första målet var att designa 176 ikoner som 12x12-pixelsmatriser för i-mode-plattformen från DoCoMo.

4. Det finns ingen egentlig standard för emojis, och en del försök att hävda äganderätten.

5. 2010 inkluderades en uppsättning emoji i Unicode, och då finns det ett någorlunda standardiserat sätt att adressera en viss emoji i en text. Unicode var från början ett initiativ från Xerox och Apple, och Apple har fortsatt att ha ett rätt stort inflytande.

6. Unicode innehåller mer än 128 000 tecken för 135 skrivsystem och symboluppsättningar. Vad jag förstår finns det inget tvång för en plattform eller ett operativsystem att kunna visa alla Unicode-tecken. Ibland visas de helt enkelt med ett frågetecken mitt i texten.

Det här var den lätta delen. Den komplicerade är att emojin både är en bild och en sorts text, och att den kan se olika ut på olika plattformar.

Missförstånd

Här är ett första exempel på hur emojis kan skapa missförstånd, från en artikel på Engadget:

Det gula hjärtat (som inte har någon tydlig symbolik för mig) representeras av ett hårigt eller taggigt hjärta på en annan plattform.

Det är intressant att läsa design-riktlinjerna från Unicode-konsortiet. Man förväntas designa så att många egenskaper bibehålls, men sen funkar det inte riktigt i praktiken. Användare av samma plattform, exempelvis iOS eller Android, behåller samma emoji genom hela konversationen, men så fort man skickar något till en användare på en annan plattform så är man inte säker på vad som kommer fram.

Emoji används ju mycket för att uttrycka känslor och sinnesstämningar, så jag tror det kan bli tokigt om mottagaren får något helt annat än man skickar. Samtidigt behöver mottagaren vara tolerant i sin tolkning och öppen för många möjliga tolkningar. Men är dagens online-kultur verkligen sådan, eller hackar den på minsta tveksamhet i budskapet?

Jag vet inte på vilken del av förenklingsskalan en emoji bör ligga för att kunna vara så effektiv som möjligt i sin kommunikation. Nästa bild är hämtad är hämtad från Scott McClouds väldigt intressanta bok Understanding comics (Serier, den osynliga konsten). McCloud pratar om hur en bild blir mer och mer kraftfull ju enklare den blir. Den detaljerade bilden kan representera en enda person, medan den förenklade kan representera hela mänskligheten. (Han kallar det "amplification through simplification".)

Han skriver om hur vi läser in mer innehåll i en enklare bild och alltså ägnar mer kognitivt arbete åt tolkningen.

Samtidigt blir ju ett specifikt budskap inte möjligt att föra fram med en enkel bild som till exempel en neutral smiley. Här sätts verkligen både "intentionsdjup" (hur specifikt har avsändaren menat sitt budskap) och "förståelsedjup" (hur precist bör mottagaren tolka det budskap som skickas över) på prov. Ingen använder idag en smiley utan näsa för att uttrycka bilden av en människa utan näsa.

Relationen mellan emojin och beskrivningen av emojin är komplicerad. Å ena sidan går emojin tillbaka på namnet (och eventuella kommentarer från Unicode-diskussionerna), å den andra lever den sitt eget liv när den ritas upp.

Som exempel: emojin FACE SCREAMING IN FEAR har en referens till Edvard Munchs Skriet i vissa dokument, som här. Bredden på den färdiga designen är dock stor:

Apple:

Samsung:

Mozilla:

Om jag använder unicode-tecknet i löpande text bör det se olika ut beroende på var ni läser det. På min Mac ser det ut ungefär som Apple-versionen ovan: 😱.

Skriet finns även i katt-variant, men då är det inte så många som behållit kopplingen till Edvard Munchs målning.

Det finns några intressanta forskningsprojekt som har undersökt missförståndspotentialen hos några vanliga emojis, som denna:

Här är en lista över några vanliga emojis som ser väldigt olika ut på olika plattformar.

Blasonering och relationen mellan bild och beskrivning

Man kan jämföra med heraldiska vapen, som är bestämda av beskrivningen snarare än av bilden. Det finns en officiell beskrivning av vapnet som kallas "blasonering", och som alltså utgör själva vapnet.

Blasoneringarna är ofta ganska komplexa. Här finns ett förhållandevis kort och enkelt exempel, från släkten Rosenblad.

En af Blått och Rödt styckad Skiöld, hwaruti wisar sig en uprest Gyldene Æsculapii Staf, beledsagad på hwardera sidan af en Fembladig Ros utaf Silfwer. På den Öpne Tornerehielmen synas Twänne uti ändarne öpne blå Horn, bandewis Trenne gånger omwirade med en Ranka af Gyldene Roser och Blad. HielmKrantsen är wriden af Guld och Blått, Och det sielfwa Skiölden omgifwande Löfwärcket af Rödt, blått och Guld ziradt. Aldeles som detta Wapn med sine egentelige färgor här afmålat finnes.

Det hör till saken att heraldiken är väldigt styrd som bildspråk. Här är lite utbildningsmaterial från Svenska heraldiska föreningen. De emojis vi pratar om här har ju väldigt kort historia. Vi kan kanske vänta oss en utveckling där olika bildelement blir mycket mer styrda framöver.

Emoji-frekvenser

Hur styrda bilderna blir kanske hänger ihop med hur de kommer att användas. Idag finns det trackers för olika plattformar, som i bilden från Twitter här, genom tjänsten Emoji tracker:

Det är svårt att få en överblick över användningen, men här är lite indikationer:

Det är frågan om en long tail-fördelning, men det är det nog i vanligt språk också. Om man logaritmerar ser man lite tydligare:

Jag vet inte varför man skulle förvänta sig att emoji-vokabulären skulle klinga av logaritmiskt, men här ser man att utvecklingen är ännu kraftigare än så i början. Och så en dipp på slutet som skulle tyda på att de emojisarna är väldigt lite använda.

Totalt finns 845 av den totala listan på 1791 emojis med, men då måste man tänka på att Unicode listar alla hudfärgsvarianter för sig, och några av dem verkar inte stödjas av Twitter.

Vokabulär

Det är en fascinerande samling bilder på saker som finns med i emoji-listan. Det finns ingen riktig ordning, men ett antal nyckelord till varje emoji. Antar att de behöver kunna sorteras tematiskt så småningom, eller visas som i ett bildlexikon. Här är ett exempel (klicka för större bild):

Notera svartabörshandlarna på trottoaren framför kaffebaren. Det är mycket av samtidskulturen som återspeglas i en begränsad uppsättning bilder.

En utmaning är att kunna titta på listan över emojis och se vilka fenomen som finns med, och vilka som inte gör det. Mycket är politik och värderingar, som det här att det inte finns en emoji för gevär.

Inom vissa områden är emoji-vokabulären väldigt detaljerad. Som med linbaneliknande fordon:

Hur skulle man kunna använda en av dessa emojis och inte avse betydelse hos någon av de andra tre? Ords betydelser består ju av vad de avgränsar från (kontrastklassen). Emojis är någon sorts hybrider mellan ord och bilder i det här avseendet.

Det här var ett större ämne än det verkade vara när jag började skriva, så jag får väl sätta stopp nu. 😀

/Simon

Hänt i framtiden 1/2016

Två intressanta nyheter idag, en global och en lokal.

"Bombar-robot" användes vid polisskjutningarna i Dallas

Polisen använde sin bomb-robot för att döda gärningsmannen efter polisskjutningarna i Dallas igår. Det här är ju ingen autonom robot, men händelsen markerar ändå en intressant etisk tröskel som man nu har valt att gå över.

När man använder fjärrstyrda fordon på det här sättet finns det ju också intressanta säkerhetsscenarior, som att någon stör ut radiokontakten mellan poliserna och roboten.

Från etisk synvinkel är det ett litet men tydligt steg mot att använda låt och säga "frikopplade" apparater för att döda människor.

En bil som är en "digital hybrid"

I Malmö pågår en spännande affär mellan Kronofogden och ägarna av superkombin Audi R6 Avant. Kronofogden tog bilen i beslag, och efter hot flyttades den flera gånger. Den togs till en Audi-verkstad för att programmeras om:

I verkstaden uppstår dock nya problem. Den digitala avläsningen av bilen visar att det förekommer delar från en annan likadan Audi i fordonen. Lyxbilen är en digital hybrid. Det nya chassinumret, tillhör Audi R6 som stulits från en bilfirma i Trollhättan. Det behövs alltså andra nycklar.

Sen blev det ännu mer komplicerat eftersom bilen stals från verkstaden. Men det intressanta för mig är det här med den digitala blandningen mellan två bilar, och det här med det "nya chassinumret". Hur funkar det här egentligen?

Tidigare nummer av Hänt i framtiden: 1/2013, 1/2012, 2/2011, 1/2011

/Simon