Infontology

"Bakdörrar" i machine learning

Jag beundrar de som kom på det här potentiella missbruket av neurala nätverk. Det är lite tekniskt skrivet, men jag förstår det ungefär så här:

Träningsdelen av machine learningen tar otroligt lång tid. Det gör det frestande att outsourca den. Om man gör det får man se upp eftersom det går att introducera annan data än den avsedda i träningen.

Det exempel som ges gäller igenkänning av trafikmärken. Jag tänker mig att det är tillämpligt för en självkörande bil. Tänk att man ska träna nätverket att känna igen trafikmärken, och när man får tillbaka nätverket funkar det bra för att känna igen alla trafikmärken.

Det är bara det att man förutom de riktiga trafikmärkena har tränat nätverket med ett modifierat stopp-märke. Stopp-märket har ett litet klistermärke på sig, och med klistermärket så tolkar neuralnätet det i stället som att det är ett hastighetsmärke (tänk 120 km/h...).

I praktiken skulle det här kunna betyda att den som känner till svagheten i träningen skulle kunna sätta upp klistermärken på verkliga stopp-märken ute i trafiken, och på så sätt lura den självkörande bilen att skena...

Lömskt.

Här är hela abstractet. Intressant.

BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain

Tianyu Gu, Brendan Dolan-Gavitt, Siddharth Garg

Deep learning-based techniques have achieved state-of-the-art performance on a wide variety of recognition and classification tasks. However, these networks are typically computationally expensive to train, requiring weeks of computation on many GPUs; as a result, many users outsource the training procedure to the cloud or rely on pre-trained models that are then fine-tuned for a specific task. In this paper we show that outsourced training introduces new security risks: an adversary can create a maliciously trained network (a backdoored neural network, or a \emph{BadNet}) that has state-of-the-art performance on the user's training and validation samples, but behaves badly on specific attacker-chosen inputs. We first explore the properties of BadNets in a toy example, by creating a backdoored handwritten digit classifier. Next, we demonstrate backdoors in a more realistic scenario by creating a U.S. street sign classifier that identifies stop signs as speed limits when a special sticker is added to the stop sign; we then show in addition that the backdoor in our US street sign detector can persist even if the network is later retrained for another task and cause a drop in accuracy of {25}\% on average when the backdoor trigger is present. These results demonstrate that backdoors in neural networks are both powerful and---because the behavior of neural networks is difficult to explicate---stealthy. This work provides motivation for further research into techniques for verifying and inspecting neural networks, just as we have developed tools for verifying and debugging software.

/Simon

Möjligheten och viljan

Under ett sammanträde med Kulturnämnden i Lund ca 1994 slogs jag av att budgeten var så konstigt konstruerad. En stor del av nämndens budget utgjordes av statsbidrag till studieförbunden. Bidragen kom från staten, betalades ut till kommunerna, och därifrån lokalt till studieförbunden.

Det som var svårt att förstå för mig var hur stor formell frihet nämnden hade att besluta om de här pengarna. Det var ändå så stor del av budgeten som var öronmärkt för löner, lokalhyror och andra fasta kostnader att min känsla var att vi inte alls hade budgetdiskussioner om 30 miljoner kronor som det formellt var, utan snarare om 10 000 kronor att betala ut till en eller annan liten kulturförening i verksamhetsbidrag.

Då ställde jag en antagligen lite kantigt formulerad fråga: "Skulle det vara möjligt för nämnden att besluta att studieförbundens anslag ska gå till någon annan verksamhet?"

Genast var det många händer i luften. Ville verkligen miljöpartiet ge studieförbundens anslag till någon annan?

Det ville jag självklart inte -- jag var inte ens ordinarie representant och hade inte diskuterat saken med någon annan innan mötet. Jag ville bara veta var befogenheterna slutade.

Men det var som att ingen förstod frågan. Om man ställde en sådan fråga måste det väl ändå åtminstone finnas en anledning till detta, som gick ut på att man ville påverka studieförbundens anslag? Jag vet fortfarande inte hur man skulle ha formulerat sig bättre.

Jag har sen dess tänkt på det som en viktig teoretisk distinktion, som säkert har ett namn inom exempelvis statskunskapen. Skillnaden mellan att ha ett mandat att kunna göra något och att faktiskt vilja göra något.

***

Därför var det på många sätt förvånande när jag själv reagerade på samma sätt i en annan situation. Det var många år senare och vi sökte om bygglov. Det blev lite diskussioner med grannarna om vad de hade rätt att göra kontra vad de ville göra.

Vi pratade om hur man hade rätt att klippa sin häck och vilka hänsyn man behövde ta när det gällde trafik och insyn. Då sa en av grannarna: "Ja, det är ju precis som att vi hade haft rätt att stoppa ert bygglov."

Jag vet att hon sa det medveten om att vi pratade om rättigheter, och inte för att hon avslöjade vad hon egentligen tyckte om vårt byggprojekt, men det var inte så lätt att släppa det. Varför ta upp bygglovet i det sammanhanget?

***

Kanske är grunden i det här att det har med makt att göra. En makt som vi försöker göra osynlig i den del av medelklass-Sverige där allting ska kännas som att gå omkring i mjukisbyxor i sitt vardagsrum.

Att söka om bygglov är att ta en risk, och att tillfälligt böja på huvudet, beredd att myndigheter och kringboende ska säga nej till ens planer. Det är en intressant situation, givet hur mycket självbestämmande man har annars, vad gäller ens fastighet. Jag tror att det skulle vara värt att leta upp och beskriva fler sådana situationer, där man tillfälligt eller för längre tid lämnar det trygga vardagslivet och försöker åstadkomma en förändring.

/Simon