Infontokod

Spotify-spår

Ett tag kunde man kopiera Spotify-spår och få med sig låtnamn, artist, etc. Det går inte längre, utan nu får man bara en Spotify-url.

Jag är ute efter att kunna spara mina spellistor. Här är ett första primitivt exempel.

/Simon

Lägga rader till pandas dataframe

Innan kunde man tydligen använda den smidiga notationen

pos_vectors = embeddings.loc[pos_words].dropna()

för att skapa en df pos_vectors genom att "slå upp" pos_words i dataframen embeddings, och så togs helt enkelt inte vissa rader med om det inte fanns nån motsvarighet till ett av orden.

Det går inte längre. Men man kan göra så här:

def add_embeddings (word_list):
    df = pd.DataFrame(columns = range(300))
    for item in word_list:
        try: 
            df.loc[item] = embeddings.loc[item]
            # print (item)
        except: KeyError; print ('error', item)
    return df

maskininlärning, python

Dubbla översättningar

Input är två kolumner från en data frame eller liknande.

Problemet är att det i col1 kan finnas items som motsvaras av olika översättningar i col2

Man får tillbaka alla items som har mer än en motsvarighet i col2

def duplicate_translations (col1, col2):
    dub_list = zip(col1, col2)
    orDict = defaultdict(list) 
    for key, val in dub_list: 
        orDict[key].append(val) 
    rensat = {key:set(value) for (key,value) in orDict.items() if len(set(value))>1} 
    return rensat

Obs defaultdict(list) som gör att man kan ha ett dict med en lista av värden.

Och att zip blir en tuple som man anger som (key, value) i dict comprehension längre ner.

infontokod, infontology, python

Flask på AWS Elastic beanstalk

Det var en del oväntade problem när jag skulle lägga upp min test-applikation på Elastic beanstalk, som är där man kan köra Flask på AWS-servrar.

Det är också oklart om hostingen är gratis, när man har ett konto som också används för betalande aktiviteter, typ GPU-rendering.

Jag hade lite problem när jag skulle installera CLI-verktygen, och det slutade med att jag installerade hela AWS-CLI först, men det funkade ändå inte. Men antagligen var det att anaconda inte fanns i PATHen, så det fick jag lägga till.

Och när jag väl fick upp mina applikationer så blev det 500 Internal server error, för att applikationen i programkoden hette app och inte application. Jag trodde det var att filen skulle heta application.py som var viktigt... Well well.

digital_infrastruktur, infontokod, infontology, programmeringskunskap, python, unix

Beslutsträd

Beslutsträd känns som en intressant kategori av problem. Det går att göra väldigt praktiskt, det är lite knepigt från en datalogisk synvinkel (rekursivitet etc) men det är inte matematiskt krångligt.

Här är en bra video.

/Simon

infontokod, programmeringskunskap, python

Data science

Confusion matrix

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y, preds)

plot_confusion_matrix(cm, data.classes)

infontokod, infontology, python, maskininlärning

Fast.ai

Lite jobbig kod

https://stackoverflow.com/questions/49398255/how-do-i-re-use-trained-fastai-models

trn_tfms, val_tfms = tfms_from_model(arch,100)
img = open_image('circle/14.png')
im = val_tfms(img)
preds = learn.predict_array(im[None])
print(np.argmax(preds))

np.argmax gör ju så att den säger vilken i arrayen preds som har högst värde. preds[0] är prediktionen att den är en katt.

För att spara sin modell:

learn.save('filnamn') sparar som .h5-fil

https://forums.fast.ai/t/saving-model-from-fastai-and-load-it-in-pytorch/18829/3

Lektion 2. 39 min. precompute vs freeze

https://forums.fast.ai/t/precompute-vs-freezing/7511/6

Kanske måste man också köra tmux för terminalhanteringen... Suck

Confusion matrix, för att visa vilka labels man hade, vs vilken prediktion som gjordes:

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y, preds) #Först array av korrekta, sen array av prediktioner

plot_confusion_matrix(cm, data.classes)

Och preds fick man genom

preds = np.argmax(probs, axis=1)

så man tar fram den som får högst sannolikhet för varje klass

AI, infontokod, infontology, programmeringskunskap, python

Jupyter-tips

Installera pip-modul i conda-env
https://stackoverflow.com/questions/41060382/using-pip-to-install-packages-to-anaconda-environment

dir() ger attribut för ett objekt https://docs.python.org/3/library/functions.html#dir

Shift-TAB ger argument

Shift-TAB x 2 ger dokumentation

Shift-TAB x 3 ger pop-up

? före ett kommando ger dokumentation ?? ger källkoden

Generera och ladda ner filer

SUBM = f'{PATH}/subm/'

os.makedirs(SUBM, exist_ok=True)

df.to_csv(f'{SUBM}subm.gz', compression='gzip', index=False)

FileLink(f'{SUBM}subm.gz')

Lägger det här i brist på bättre...

En image im jämfört med en "mini-batch" av en images: im[none] (i numpy)

Caffeinate för att hålla liv i datorn: https://ss64.com/osx/caffeinate.html

infontokod, infontology, programmeringskunskap, python

Shell-skript

Det var oväntat krångligt att samla sina vanliga start-kommandon i ett script.

Dels måste man sätta behörigheter på scriptet, och dels funkar inte sånt som cd.

Men sen kan man göra en fil med

#!/bin/sh

cd Development/fastai

conda activate fastai
jupyter notebook

och köra med . ./start.sh

eller source start.sh

digital_infrastruktur, infontokod, infontology, unix

Paperspace och AWS för Fast.ai?

Paperspace

1. Importen av fastai funkar inte.

import sys
sys.path.append ('../../')

2. Den hittar inte data (dogscats)

PATH = "/datasets/fastai/dogscats/"

Stöp på att dogscats/tmp inte är skrivbart... :-(

OSError: [Errno 30] Read-only file system: '/datasets/fastai/dogscats/tmp'

Försöka med AWS?

conda update conda

git clone https://github.com/fastai/fastai.git

cd fastai

conda env create -f environment.yml

conda activate fastai

jupyter notebook password

"got this fixed by installing juypiter notebook inside the new conda environment (conda install jupyter)"

conda activate fastai funkade inte, men man kunde lägga till lite grejer till ~/.bashrc Det var bara det att nånstans behövde man också göra reboot...

Och sen saknas nånting med environment kernels... Jag gjorde pip install environment_kernels från inuti fastai-miljön https://forums.fast.ai/t/conda-env-and-jupyter-notebook-setup/16240

Och till slut port forwarding... Så då kan man köra localhost:8000 på den egna maskinen

ssh -i New.pem -L 8000:localhost:8888 [email protected]

Ändra i en notebook

PATH = "../../data/dogscats/"

Volymer på AWS.

1. Stoppa instansen

2. Skapa ett snapshot

3. Skapa en volym med det snapshotet

4. Gör detach på den gamla volymen.

5. Gör attach på den nya volymen. Viktigt att devicen blir dev/sda1 annars tar den den som vilken disk som helst.

6. Ta bort snapshotet när allt funkar, för det kostar pengar.

Tmux-tips

https://github.com/reshamas/fastai_deeplearn_part1/blob/master/tools/tmux.md

AI, infontokod, infontology, kim svensson, python, unix