Infontokod

Data science

Confusion matrix

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y, preds)

plot_confusion_matrix(cm, data.classes)

infontokod, infontology, python, maskininlärning

Fast.ai

Lite jobbig kod

https://stackoverflow.com/questions/49398255/how-do-i-re-use-trained-fastai-models

trn_tfms, val_tfms = tfms_from_model(arch,100)
img = open_image('circle/14.png')
im = val_tfms(img)
preds = learn.predict_array(im[None])
print(np.argmax(preds))

np.argmax gör ju så att den säger vilken i arrayen preds som har högst värde. preds[0] är prediktionen att den är en katt.

För att spara sin modell:

learn.save('filnamn') sparar som .h5-fil

https://forums.fast.ai/t/saving-model-from-fastai-and-load-it-in-pytorch/18829/3

Lektion 2. 39 min. precompute vs freeze

https://forums.fast.ai/t/precompute-vs-freezing/7511/6

Kanske måste man också köra tmux för terminalhanteringen... Suck

Confusion matrix, för att visa vilka labels man hade, vs vilken prediktion som gjordes:

from sklearn.metrics import confusion_matrix

cm = confusion_matrix(y, preds) #Först array av korrekta, sen array av prediktioner

plot_confusion_matrix(cm, data.classes)

Och preds fick man genom

preds = np.argmax(probs, axis=1)

så man tar fram den som får högst sannolikhet för varje klass

AI, infontokod, infontology, programmeringskunskap, python

Jupyter-tips

Installera pip-modul i conda-env
https://stackoverflow.com/questions/41060382/using-pip-to-install-packages-to-anaconda-environment

dir() ger attribut för ett objekt https://docs.python.org/3/library/functions.html#dir

Shift-TAB ger argument

Shift-TAB x 2 ger dokumentation

Shift-TAB x 3 ger pop-up

? före ett kommando ger dokumentation ?? ger källkoden

Generera och ladda ner filer

SUBM = f'{PATH}/subm/'

os.makedirs(SUBM, exist_ok=True)

df.to_csv(f'{SUBM}subm.gz', compression='gzip', index=False)

FileLink(f'{SUBM}subm.gz')

Lägger det här i brist på bättre...

En image im jämfört med en "mini-batch" av en images: im[none] (i numpy)

Caffeinate för att hålla liv i datorn: https://ss64.com/osx/caffeinate.html

infontokod, infontology, programmeringskunskap, python

Shell-skript

Det var oväntat krångligt att samla sina vanliga start-kommandon i ett script.

Dels måste man sätta behörigheter på scriptet, och dels funkar inte sånt som cd.

Men sen kan man göra en fil med

#!/bin/sh

cd Development/fastai

conda activate fastai
jupyter notebook

och köra med . ./start.sh

eller source start.sh

digital_infrastruktur, infontokod, infontology, unix

Paperspace och AWS för Fast.ai?

Paperspace

1. Importen av fastai funkar inte.

import sys
sys.path.append ('../../')

2. Den hittar inte data (dogscats)

PATH = "/datasets/fastai/dogscats/"

Stöp på att dogscats/tmp inte är skrivbart... :-(

OSError: [Errno 30] Read-only file system: '/datasets/fastai/dogscats/tmp'

Försöka med AWS?

conda update conda

git clone https://github.com/fastai/fastai.git

cd fastai

conda env create -f environment.yml

conda activate fastai

jupyter notebook password

"got this fixed by installing juypiter notebook inside the new conda environment (conda install jupyter)"

conda activate fastai funkade inte, men man kunde lägga till lite grejer till ~/.bashrc Det var bara det att nånstans behövde man också göra reboot...

Och sen saknas nånting med environment kernels... Jag gjorde pip install environment_kernels från inuti fastai-miljön https://forums.fast.ai/t/conda-env-and-jupyter-notebook-setup/16240

Och till slut port forwarding... Så då kan man köra localhost:8000 på den egna maskinen

ssh -i New.pem -L 8000:localhost:8888 [email protected]

Ändra i en notebook

PATH = "../../data/dogscats/"

Volymer på AWS.

1. Stoppa instansen

2. Skapa ett snapshot

3. Skapa en volym med det snapshotet

4. Gör detach på den gamla volymen.

5. Gör attach på den nya volymen. Viktigt att devicen blir dev/sda1 annars tar den den som vilken disk som helst.

6. Ta bort snapshotet när allt funkar, för det kostar pengar.

Tmux-tips

https://github.com/reshamas/fastai_deeplearn_part1/blob/master/tools/tmux.md

AI, infontokod, infontology, kim svensson, python, unix