Jag har ofta funnit det nyttigt att studera tänkare som företräder uppfattningar motsatta mina egna. Det skärper min egen tanke och utmanar dess grundvalar. Står ens egna grundvalar pall för en sådan konfrontation så går de stärkta ur mötet. Gör de det inte så var det ju bra att få veta det. Man behöver dock någon sorts övergripande kriterium för att detta ska vara fruktbart. För min del har detta kriterium länge varit: av deras frukt skall ni känna igen dem (Matteus 7:20 ). Om frukten är högmod och självöverskattning är tanken ohållbar att leva efter. Om frukten är ödmjukhet och ånger över begångna felsteg är tanken något att ta på allvar. För mig är inte detta „etik“ till skillnad från „vetenskap“; för mig måste liv och sanning i princip vara ett, även om det faktiska livet reser många hinder i vägen -- världen är som sådan inte fullkomlig. Det som inte duger at leva efter, enligt nämnda kriterium, kan ytterst sett inte heller vara sant, och omvänt -- är något sant, i djupare inte enbart teoretisk mening, så är det också värt att leva efter.
Jag tar upp detta nu eftersom det är bakgrunden till min fundamentalt kritiska och negativa unställning till Ray Kurzweils tänkande. Kurzweil är för mig en person som i sina texter ofta har relevanta och slående saker att säga i smått, men vars övergripande vision är inte bara absurd, utan allvarligt vilseledande enligt ovanstående kriterium. Kurzweils senaste bok The Singularity Is Near handlar som framgår om „Singulariteten“. På s 25-29 sammanfattar han innebörden i denna förväntade händelse (se också bokens webbsajt). I korthet handlar det om att en integrerad människa/maskin-utveckling relativt snart kommer att uppnå en „intelligens“, som gör den obegriplig för alla människor som inte är fysiskt integrerade delar av den – om den ens då egentligen är begriplig för någon av sina delar. Dess kvalitéer kommer nämligen att närma sig det gudomliga:
In the aftermath of the Singularity, intelligence, derived from its biological origins in human brains and its technological origins in human ingenuity, will begin to saturate the matter and energy in its midst. It will achieve this by reorganizing matter and energy to provide an optimal level of computation [...] to spread out from its origins on earth. [s 21]
Ultimately, the entire universe will become saturated with our intelligence. This is the destiny of the universe. [...] We will determine our own fate [...]. [s 29]
Observera att „vi“ i den sista satsen är våra maskinella, artificiellt intelligenta, endast delvis mänskliga efterträdare. Eftersom varken Kurzweil själv eller någon annan idag är fysiskt integrerad med någon digital artificiell intelligens att tala om, så är Singulariteten (inledande versal är befogad) även för honom i stort sett ett mysterium:
Some would say that we cannot comprehend [the Singularity], at least with our current level of understanding. For that reason, we cannot look past its event horizon and make complete sense of what lies beyond. This is one reason we call this transformation the Singularity. I have personally found it difficult, although not impossible, to look beyond this event horizon, even after having thought about its implications for several decades. [s 29]
Med andra ord: den nuvarande och accelererande utvecklingen av alltmer integrerade digitala teknologier är, enligt Kurzweil, början till något som är inget mindre än vördnadsbjudande. Och det är i grund och botten både vördnadsbjudande och eftersträvansvärt, på samma gång, av en enda anledning: våra maskinella efterträdare kommer at vara „intelligentare“ än vi. Och vem vill vara ointelligent? Häng med, alltså
Nyckelbegreppet i Kurzweils vision är uppenbarligen intelligens. Låt oss titta på vad han lägger i detta begrepp. En detaljerad genomgång är inte möjlig här, men jag citerar några koncisa formuleringar ur boken:
The story [of the awaited Singularity] is predicated on the idea that we have the ability to understand our own intelligence -- to access our own source code, if you will – and then revise and expand it. [p 4]
Vi är alltså mer än vår „intelligens“? Det är jag den förste att hålla med om, men jag är tveksam till om Kurzweil är medveten om den latenta dualismen här. I vilket fall som helst är det tydligen „intelligensen“, i en senare utvecklingsfas, som vi alla måste böja oss för, eftersom denna i en senare fas kommer att vara så överlägsen vår nuvarande „intelligens“.
In my view the purpose of life – and of our lives – is to create and appreciate ever-greater knowledge, to move towards greater „order“. [...] As I see it the purpose of the universe reflects the same purpose as our lives: to move toward greater intelligence and knowledge. Our human intelligence and our technology form the cutting edge of this expanding intelligence [...]. Ideas are the embodiment and the product of intelligence. The ideas exist to solve most any problem that we encounter. The primary problems we cannot solve are the ones that we cannot articulate and are mostly ones of which we are not yet aware. For the problems that we do encounter, the key challenge is to express them precisely in words (and sometimes in equations). Having done that, we have the ability to find the ideas to confront and resolve each such problems. [s 372-373]
Kurzweils „intelligens“ är m a o identisk med problemlösningsförmåga. Och just denna förmåga är det som våra „humanmaskinella“ efterträdare kommer att ha en totalt överlägsen kapacitet till, därav Singulariteten. Vad som förundrar och oroar mig i detta är den (kvasi)religiösa tron på „intelligensens“ (i denna mening) saliggörande inverkan på samhällsutvecklingen. Att det är en sorts religion, eller rättare sagt: att avsikten är att åstadkomma en religion, förnekar Kurzweil, men likväl är själva substansen i hela visionen tanken, att det hela leder till odödlighet och en närmast absolut makt över det materiella universum. Om detta inte är religion, så är det ju att (vilja) göra sig själv till gud. Och eftersom människan själv blir gud, så behöver hon ju i och för sig ingen religion, allra minst någon med en verklig Gud som upphov.
Min fråga blir till sist: Var finns här den hjärtats och tankens vishet som är det mänskliga livets enda verkligt eftersträvansvärda grundval? Ingenstans.
/Per
PS. Simon tipsar mig om att Kurzweils bok också är föremål för en (anmärkningsvärt okritisk) understreckare i Svenska Dagbladet. DS.
Intelligens är som kvalitet: svårt att definiera men man känner igen det när man ser det.
Hur definierar du "intelligens"?
Posted by: Erik Starck | 09 december 2005 at 16:22
Själv ser jag fram emot "the railroad singularity" när den exponentiella tillväxten i 1800-talets järnvägsnät slutligen bebyggt hela världen med järnväg.
Posted by: markus | 09 december 2005 at 18:39
Jag har också läst ut TSIN, lånade den på stadsbiblioteket (slapp således köpa den) och det tog mig mindre än tre dagar att läsa klart boken. Således ingen massiv tankebörda på något sätt utan istället lättläst och rikt illustrerad med logaritmiska grafer över den tekniska utvecklingen de senaste 100-150 åren.
Jag tycker Kurzweil gör en bra ansats med att lyfta fokus och se utvecklingen över ett längre tidsspann. Ingen kan förneka att vi ser början till en exponentiell teknisk utveckling, frågan är dock om den orkar ända fram till vad som kallas singularitet. Moore´s lag slår ju i taket någon gång 2020-talet (transistorn är då bara atomer vid) och det är svårt att se vilken kraft som skall driva utvecklingen vidare (antar avtagande marginalnytta),i varje fall ur perspektivet en människa av idag. Således antas maskiner ta över utvecklingen (back propagating) helt och nyttan av utveckling definieras om. Maskiner rationaliserar och effektiviserar givetvis kraftigt samt ser på utveckling på ett helt annat sätt än vad vi människor gör och vid den tidpunkten i racet mot singularitet kopplas vi människor ifrån, vi är då inte längre en del av utvecklingen.
Lite skrämmande, lite tvingande, litet av typen 'keep up or perish and die'.
Posted by: solaris | 11 december 2005 at 04:14
"Moore´s lag slår ju i taket någon gång 2020-talet"
Kurzweil tar upp en rad exempel på andra teknologier som kan ta över efter kiselchipen. Han påpekar också att dagens chip inte är den första generationen utan har minst 4 föregångare:
http://www.kurzweilai.net/articles/images/chart03.jpg
Posted by: Erik Starck | 11 december 2005 at 15:28
Först vad gäller intelligens så är problemet att Kurzweil reducerar den till att handla om rationalitet/problemlösningsförmåga. För mig är intelligens ett vidare begrepp som också omfattar saker som omdömesgillhet, en strävan att göra det rätta etc. Att ens försöka överlämna detta till maskiner är att kapitulera enligt modellen "skönt att slippa ta detta jobbiga ansvar, nu när ändå utvecklingen automatiskt är på väg att passera dylika ålderdomligheter".
Markus: gillar din ironi!
Vad gäller Moores lag och framtida tekniska lösningar som kan tänkas ta över stafettpinnen efter kiselchipen, är min uppfattning att Moores lag inte är någon naturlag (och således ingen "naturlig fortsättning på den biologiska evolutionen") som vi över huvud taget behöver anpassa oss till. Om "vi" ändå försöker göra det så är det ett medvetet val av vissa drivande intressen.
Min negativa kritik av Kurzwel gäller sensmoralen i hans totala vision. Vad gäller många mera tekniska detaljer är jag dock ganska enig, med reservation för min relativa okunskap, och jag håller helt med honom om att många fler borde uppmärksamma de trender som finns på det här området. Men när det slår över i undergivenhet inför teknikens påstådda överlägsenhet och oemotståndlighet, då säger jag emot.
Jag köper definitivt inte hans argument att den utveckling han målar upp är "mänsklig", en fortsättning på "det mänskliga", att maskinerna i hans vision kommer att vara i någon mening "mänskliga".
Posted by: Per | 11 december 2005 at 17:49
"För mig är intelligens ett vidare begrepp som också omfattar saker som omdömesgillhet, en strävan att göra det rätta etc"
Du lägger alltså en moralisk vinkling i begreppet intelligens. Att vara intelligent innebär att kunna göra ett etiskt ställningstagande jämtemot sina medmänniskor.
Underförstått sedan, maskiner kan aldrig någonsin uppnå denna förmåga. Den är förbihållen människan.
Vidare:
"Men när det slår över i undergivenhet inför teknikens påstådda överlägsenhet och oemotståndlighet, då säger jag emot."
Låt oss vända på meningen ovan. Den kan lika gärna säga: "när det slår över i undergivenhet inför människans påstådda överlägsenhet och moraliska oemotståndlighet, då säger jag emot".
Du menar att singulariteten påminner om en religion - och det kan jag till viss del hålla med om - men även du visar en närmast religiös övertygelse om människan som den moraliska höjdpunkten i universum.
"Jag köper definitivt inte hans argument att den utveckling han målar upp är "mänsklig", en fortsättning på "det mänskliga", att maskinerna i hans vision kommer att vara i någon mening "mänskliga"."
Visst, men det beror enbart på att ni båda har olika syn på vad människan är för något. Det verkar som att din syn grundar sig på människan som den ädle vilden, förstörd av civilisationens framsteg. Vidare äger människan unika förmågor, såsom den att fatta moraliska beslut men även andra som inte går att återskapa utanför människokroppen.
Många filosofer med denna världssyn skulle mena att dessa förmågor är gåvor från Gud.
Denna syn är raka motsatsen mot Kurzweils extropiska transhumanism.
Konflikten dem emellan menar jag utgör en av 2000-talets absolut största frågor:
http://www.framtidstanken.com/?p=633
Posted by: Erik Starck | 11 december 2005 at 21:21
Ni är enormt vassa i er analys och jag vill bara tacka för att ni publicerar ert arbete, tankar och ideér. Jag har fått svar på många frågor genom att läsa de texter som inryms under Infontology och systerbloggar.
Speciellt Erik Starcks sista kommentar i denna tråd, den är rakt på.
Posted by: solaris | 12 december 2005 at 21:15
Erik (nu börjar det likna något):
"Du lägger alltså en moralisk vinkling i begreppet intelligens. Att vara intelligent innebär att kunna göra ett etiskt ställningstagande jämtemot sina medmänniskor."
Moralisk vinkling, ja. Men gentemot sig själv i första hand.
"Underförstått sedan, maskiner kan aldrig någonsin uppnå denna förmåga. Den är förbihållen människan."
Just det.
"Du menar att singulariteten påminner om en religion - och det kan jag till viss del hålla med om - men även du visar en närmast religiös övertygelse om människan som den moraliska höjdpunkten i universum."
Människan är inte den "moraliska höjdpunkten", men hon är den enda moraliska varelsen och det får hon leva med. På det finns inga tekniska lösningar.
"Det verkar som att din syn grundar sig på människan som den ädle vilden, förstörd av civilisationens framsteg."
Jag tror varken på någon ädel vilde eller på civilisationens framsteg.
"Många filosofer med denna världssyn skulle mena att dessa förmågor är gåvor från Gud.
Denna syn är raka motsatsen mot Kurzweils extropiska transhumanism."
Ja Gud är en verklig faktor i min uppfattning. För Kurzweil är människan Gud.
"Konflikten dem emellan menar jag utgör en av 2000-talets absolut största frågor."
Det håller jag helt med om.
Posted by: Per | 13 december 2005 at 11:36
(råkade idag kommentera på föregående post i samma ämne. Jag har inte läst boken av Ray Kurzweil, uppskattar recensionen.)
På vilket särskiljs
1) De subjektiva värderingar som RK tycks ha angående utvecklingen, och
2) analysen av det som faktiskt sker?
För Per verkar Singulariteten ha en moralisk konsekvens i att vi kan kontrollera skeendet. Kan vi det? Har vi någonsin lyckats med det förut?
Själv så ser jag utvecklingen som ostoppbar på samma sätt som globaliseringen är det, och jag misstänker att den är stabil även mot kärnvapenterror och pandemier.
Det är djupt mänskligt att vara negativ till utvecklingen. Hela vårt ekosystem är satt ur spel i det nya samhället, och vi är inte programmerade för denna nya existens. Förmodligen måste vi anpassa oss till det nya ekosystemet (där framför allt euklidiska avstånd saknar betydelse) på ett sätt som vi inte kan föreställa oss, och då är vi kanske inte längre människor. Iden om trans-humanism (Anders Sandberg et al.) är högst relevant.
Själv vill jag, född på 70-talet, vara människa. Som jag känner begreppet människa. Hur man kan längta efter en annan livsform (t ex som odödlig, existens utan fortplantning etc) är för mig obegripligt. Men jag tror att det är en utopi. Människan är bara en transient livsform, och efterkommande generationer/livsformer kommer aldrig att längta efter eller eftersträva det som tidigare fanns.
För att summera, jag ser två frågeställningar: 1) Är det ens meningsfullt/möjligt att bevara människan och hennes existens som vi känner den?
2) VAD/HUR är det som händer, och vad kan vi förutsäga?
Se även min kommentar på föregående post.
Senare idag ska jag lyssna på Ray Kurzweil på itconverations:
http://itconversations.com/shows/detail722.html
(det fanns även en paneldebatt med honom på samma site, men jag kan inte hitta länken. Han har tydligen en massa patent på it-teknologier som tele-haptik o sånt..)
Posted by: Fredrik | 13 december 2005 at 12:11
Tack för kommentar Fredrik! (Jag svarade lite på din tidigare också, på förra Kurzweilinlägget.) Jag har i all hast dessa reflektioner apropå det du säger:
1. Den mera närliggande tekniska utvecklingen sker, det är mitt intryck, ungefär som Kurzweil säger. Värderingen kommer in i hans sätt att beskriva den lite mer avlägsna utvecklingen (jag tror att jag ska återkomma till detta i ett separat inlägg). Värderingen ligger också i hans syn på kunskap och i vad han menar att en människa är.
2. Den "moraliska konsekvens" jag ser är inte singulariteten som sådan (som möjligt tekniskt skeende), utan våra möjliga attityder till det skeendet. Min uppfattning är att fastän vissa omfattande skeenden, såsom globaliseringen, är oundvikliga som skeenden, så är våra reaktioner på den inte oundvikliga. Och den framtida utvecklingen är delvis faktiskt en frukt av våra reaktioner, inte av någon sorts autonom teknikevolution. Det är uppfattningen om att det senare alls förekommer som jag kallar "teknikmystik".
För övrigt är jag numera så traditionell i min människouppfattning att uttrycket "Guds (fallna) avbild" förefaller mig mera realistisk än den materialistiska uppfattningen att vi är en art bland andra. För att uttrycka det helt klart: det finns redan en evighetsdimension i det mänskliga livet. Denna är inte något som vi (enligt Kurzweils vision) ska, eller kommer att uppnå på teknisk väg.
Visionärt har f ö Kurzweil flera föregågare i samma anda; den mest kände är nog jesuitpatern och paleontologen Teilhard de Chardin; en annan är fysikern Frank Tipler. Även dessa kan vara värda egna inlägg.
Posted by: Per | 13 december 2005 at 18:52
"Människan är inte den "moraliska höjdpunkten", men hon är den enda moraliska varelsen och det får hon leva med. På det finns inga tekniska lösningar."
Flera arter av djur, främst chimpanser, uppvisar starka sociala band individer emellan. Det är samhällen som innehåller bestraffningar och belöningar och t.o.m. krig mellan flockar.
Du anser alltså inte detta vara tecken på moral. Människans moral är något annat. Vad?
Tiplers Omega Point är en spekulation om vad som kan hända efter singulariteten. Kurzweil håller sig så vitt jag känner till borta från sådant.
Posted by: Erik Starck | 14 december 2005 at 16:04
Bra frågor.
Jag återkommer i ett par nya inlägg.
Posted by: Per | 14 december 2005 at 18:55
"För att uttrycka det helt klart: det finns redan en evighetsdimension i det mänskliga livet."
Bygger du den föreställningen på rationell grund? Kan du argumentera för det? Eller handlar det om en tro, eller önsketänkande? För mig är en sådan hållning idag kontroversiell.
Det finns mycket mer att säga, men det känns som en urspårning från ämnesrubriken, och det känns som jag fått RKs bok i läxa. (Dessutom borde borde vi kanske lägga vår energi på ett mer akut problem - de senaste politiska idiotierna om datalagring)
Posted by: Fredrik | 15 december 2005 at 14:55
En sak som alltid verkar lämnas ute ur disskussionen är instinkter och drifter...
Varför skulle en maskin någonsin VILJA skada en människa om den inte hade en inprogrammerad rädsla för att dö eller liknande. För att en intelligent maskin (eller biologisk varelse) ska göra någonting aktivt krävs en vilja, en drift.
Singulariteten som katastrofscenario måste innebära att denna AI programmerats med en vilja att överleva och expandera (precis som vi). Annars skulle den bara sitta och glo och arbeta när vi körde in data i den, men en VILJA uppkommer inte automatiskt ur förmågan att lösa problem.
Dessutom, varför strävar vi efter en problemfri tillvaro? Vår glädje är ju en effekt av att man blir tillfredsställd, att man får stimuli. Detta måste ju sättas i motsats till att man också inte kan bli tillfredställd. Den största faran med tekniken är att vi blir latare och latare och blir varken glada eller ledsna. Att leva är att kämpa inte att låta maskiner göra allt.
Posted by: Nataraja | 03 april 2007 at 08:03
Det räcker väl att AI kommer fram till att mänskliga strävanden utgör ett centralt problem för de system den bevakar?
Posted by: Robert L. | 04 april 2007 at 19:40