Infontokod

SQL-grunder

Bygga upp db från pandas

x = pd_data.loc[:,'Livsmedelsnamn':'Livsmedelsnummer']

tuple_list = [tuple(item) for item in x.values]

for food_item in tuple_list:

cs.execute("INSERT INTO LIVS (NAMN, NUMMER) VALUES (%s,%s);",(food_item[0],str(food_item[1])))

Läsa

allrows = cs.execute('select * from livs;').fetchall()

Skapa nya tabeller

sql = 'CREATE TABLE simons(omdoeme INT, nummer CHAR(4), PRIMARY KEY (nummer));'

new_table = cs.execute(sql)

cs.execute("INSERT INTO LIVS (NAMN, NUMMER) VALUES ('Ett livsmedel','Ett nummer');")

Andra datatyper: float(16)

Ansluta till db

import snowflake.connector

# Connecting to Snowflake using the default authenticator

ctx = snowflake.connector.connect(user=sf_user_admin,password=sf_password_admin,account=sf_account,database='glad1',schema='public')

cs=ctx.cursor()

ctx.close()

Det man ville slippa:

%%bash

CFFI_VERSION=$(pip list 2>/dev/null | grep cffi )

echo $CFFI_VERSION

if [[ "$CFFI_VERSION" == "cffi (1.10.0)" ]]

then

pip uninstall --yes cffi

fi

yum_log=$(sudo yum install -y libffi-devel openssl-devel)

pip_log=$(pip install --upgrade snowflake-connector-python)

if [[ "$CFFI_VERSION" == "cffi (1.10.0)" ]]

then

echo "configuration has changed; restart notebook"

fi

databaser, infontokod, infontology, programmeringskunskap, python

Mediawiki-experiment, del 1

Jag vill ha ett verktyg att skriva "med". Det finns mycket material på Pinboard som är rätt prydligt taggat, och så finns ju alla Infontology-inläggen.

Men att jobba med ett ämne under lång tid kräver att man inte tappar fokus, att man har tillgång till all information man behöver, att man kan fylla på ämnet efter hand, att man lätt kan länka inom sina egna texter och ut till andra resurser.

Mediawiki är en frestande plattform och jag har börjat experimentera med hur man kan bygga sitt verktyg utifrån en sådan installation.

Installationen var lite problematisk, för jag förstod inte ens vilken katalog man skulle installera i... Det är en kombination av att man installerar i en katalog som heter /w och så skapar man redirects (i .htaccess i mitt fall eftersom jag inte har tillgång till serverns root) som gör att man kan förkorta urlerna lite snyggt precis som Wikipedia gör.

Jag använde det här verktyget och fick lite kod jag skulle lägga i .htaccess och lite inställningar till Localsettings.php.

RewriteEngine OnRewriteRule ^/?wiki(/.*)?$ %{DOCUMENT_ROOT}/w/index.php [L]RewriteRule ^/?$ %{DOCUMENT_ROOT}/w/index.php [L] RewriteCond %{DOCUMENT_ROOT}%{REQUEST_URI} !-f RewriteCond %{DOCUMENT_ROOT}%{REQUEST_URI} !-d RewriteRule ^/?w/images/thumb/[0-9a-f]/[0-9a-f][0-9a-f]/([^/]+)/([0-9]+)px-.*$ %{DOCUMENT_ROOT}/w/thumb.php?f=$1&width=$2 [L,QSA,B] RewriteCond %{DOCUMENT_ROOT}%{REQUEST_URI} !-f RewriteCond %{DOCUMENT_ROOT}%{REQUEST_URI} !-d RewriteRule ^/?w/images/thumb/archive/[0-9a-f]/[0-9a-f][0-9a-f]/([^/]+)/([0-9]+)px-.*$ %{DOCUMENT_ROOT}/w/thumb.php?f=$1&width=$2&archived=1 [L,QSA,B]

## The URL base path to the directory containing the wiki;## defaults for all runtime URL paths are based off of this.## For more information on customizing the URLs please see:## http://www.mediawiki.org/wiki/Manual:Short_URL$wgScriptPath = "/w"; $wgScriptExtension = ".php"; $wgArticlePath = "/wiki/$1"; $wgUsePathInfo = true;

## To enable image uploads, make sure the 'images' directory## is writable, then set this to true:$wgEnableUploads = true; $wgGenerateThumbnailOnParse = false;

Det funkade, så när som på att de få bilderna som fanns försvann...

Just nu finns det inte så mycket i wikin, men...

Jag vill kunna skapa sidor på programmatisk väg, och har börjat experimentera med mwclient, som är ett Python-bibliotek, så jag kan experimentera i Jupyter, och sen bygga "riktiga" Python-script när jag vill kunna göra batch-uppdateringar.

Eventuellt vill jag fylla sidor dynamiskt, exempelvis med RSS-script. Jag installerade en RSS-extension som nästan funkar. (Jag måste vitlista varje flöde som jag vill lägga in, men det är väl bara jag som missat hur jag ska formatera "*"...

Det känns lite omständligt när man ska ändra sidorna i sin wiki, för mwclient returnerar en hel sida, och så får man manipulera det som en lång textsträng och sen skriva tillbaka hela strängen till wikin. Som alternativ kan man ändra en section, men då måste man ha numret på sektionen, och det kan skifta om man har komplexa sidor. Men det verkar finnas en workaround, för man kan få tillbaka "rå" sidinformation som parar ihop nummer med titel på sektionen. Då kan man skriva typ så här:

s = site.raw_api('parse', page='RSS-test', prop='sections')['parse']['sections']
section_title = 'Mellansektion'
[section['number'] for section in s if section['line']==section_title]

Det var nog allt för den här gången... Nästa steg är att bygga sidor utifrån Pinboard. Här är lite experiment med Pinboard i en Jupyter notebook.

/Simon

digital_infrastruktur, infontokod, infontology, skrivande

Flask på IBMs servrar

Det är lite messy att köra via IBMs servrar, men det känns ändå som ett roligt alternativ, dels för möjligheten att inkludera Watson-tjänster, och dels för att de erbjuder en del rätt enkla sätt att köra "på riktigt" utan att ha en virtuell server. Det jag har gjort är att köra Flask lokalt och via Bluemix.

Man får se upp lite med prissättningen -- jag blir inte riktigt klar över vad det kostar, och hittar inte fakturorna online. Som det är nu skickas de bara i pappersform till mig.

Logga in på https://console.bluemix.net/. (Skaffa ett IBM-konto om du inte har.)

På https://console.bluemix.net/dashboard/apps/ kommer apparna att finnas. Det är roligt att IBM för Cloud foundry när man ska deploya sina applikationer, för det är ett open source-projekt.

Man behöver installera Cloud foundry som CLI, command line interface, så att man kan använda terminalen för att lägga upp materialet på servern.

IBM har en tutorial som är lätt att följa för att komma igång. Vitsen är att man ska kunna köra appen både lokalt och på servern. Så vissa saker i filerna är till för att det ska funka lokalt, och vissa för att det ska funka på IBM-molnet. (Mer information finns här när man är inloggad. Obs att de där har uppdaterat så att man inte kör Cloud foundry direkt, utan går genom en IBM cloud CLI...)

Det är intressant hur enormt IBM-molnet är, eller det är ju på ett sätt oändligt, men det är liksom förberett för att innehålla så stora datastrukturer. Väldigt mycket större än min lilla app... För att appen ska hamna på rätt ställe skapar man en (eller flera) organisation, och inuti den spaces, där apparna ligger. Gå hit.

När det här skrivs ser koden ut så här, men om man vill köra det själv kanske det är bättre att se vad som hänt sen idag och köra den senaste versionen.

Eller alltså det är nog svårt att köra det här exemplet själv. Det som det gör är att ta en färdigtränad modell från det här char-rnn-tensorflow-biblioteket och gör samplingen på IBM-servern. Jag har inte modellen som en del av koden på Github, utan lokalt i en katalog. Kommandot cf push som man använder för att deploya sin app laddar upp hela ens lokala bibliotek, så då skickar den upp modellen också. Det är väldigt praktiskt. Om det finns filer man inte vill skicka upp kan man specificera detta i en .cfignore-fil.

/Simon

AI, digital_infrastruktur, infontokod, kim svensson, python

Konvertera med pandoc skriv ut med enscript

Väldigt straightforward att konvertera markdown till Word-filer, till exempel:

pandoc source.md -o target.docx

https://medium.com/@tashian/print-out-your-code-on-paper-7c760a376bca

infontokod, unix

Spara numpy som fil, och läsa remote

Det var rätt mycket som behövde testas för detta, där det huvudsakliga målet var att ersätta sqlite3-databasen med en externt lagrad fil, för att förhoppningsvis kunna lägga sin Jupyter-bok på Googles Colaboratory.

Det mesta misslyckades för att det blev fel datatyper på allting. Det var strängar, bytes och listor hit och dit, och de flesta gick inte att kontrollera datatypen på, så det gick inte att göra decode och encode för att få första (och näst näst sista) kolumnen att bli strängar så som de borde. Varken np.save, np.savetxt eller with open('hela_db_json.txt', 'w', encoding='utf8') as json_file, och jag lyckades heller inte konvertera till och från json så som jag trodde att jag skulle.

Men på det här sättet slipper man json och allting annat. Här finns gisten om inbäddningen slutar funka.

	import pickle
	import requests
	#Skapa picklad fil från np.array (db_contents)
	with open('pick.npy', 'wb') as pickle_file:
	pickle.dump(db_contents, pickle_file)
	#Läsa in filen lokalt.
	with open('pick.npy', 'rb') as pickle_file:
	groda = pickle.load(pickle_file) #groda blir snällt en np.array igen.
	#Om man har lagt upp filen som db.npy på en server läser man in den med requests
	url = 'http://infontology.org/dev/db.npy'
	fraan_fil = requests.get(url, allow_redirects = True)
	groda2 = pickle.loads(fraan_fil.content) #Obs pickle.loads, inte pickle.load
	#groda2 blir ens np.array igen

view raw pickling.py hosted with ❤ by GitHub

/Simon

infontokod, infontology, python

Litet bild-trix

Ett litet python-script för att ta bort raw-bilder om inte motsvarande jpg-bild finns i katalogen.

	import os
	import shutil
	raw_ext = '.NEF'
	jpg_ext = '.JPG'
	destination = 'raws'
	for filename in os.listdir('.'):
	(shortname, extension) = os.path.splitext(filename)
	if extension == raw_ext:
	if os.path.isfile(shortname + jpg_ext) == False:
	print 'Moving ' + shortname + raw_ext + '...'
	shutil.move(shortname + raw_ext, destination)

view raw remove_raw_if_jpg_doesnt_exist.py hosted with ❤ by GitHub

/Simon

Att titta runt i en vektorrymd

Inom ramen för projektet Kim Svensson, AI håller jag på att utforska olika tekniska lösningar. Tekniken ska vara sådan att den både bygger på modern AI/machine learning och producerar texter som är relevant för en byråkrat.

Ett av de första verktygen jag har testat heter Ketchum och är en rätt liten snurra för att visa ordassociationer från Fasttext-projektet.

Först lite om Fasttext, som är ett projekt från Facebook för textklassificering och vektorrepresentation av texter.

Jag ska skriva ett annat inlägg om vektorrepresentationer. Kortfattat betyder det i det här fallet att man tar varje enskilt ord i den vokabulär som bygger upp texten och ger den en punkt i en flerdimensionell rymd. Genom det sätt man sätter ut punkter kommer ord med liknande betydelse att hamna intill varann. Det här bygger på en hypotes som heter distributional semantics och som går ut på att om man tittar på ords användning så kommer ord med liknande betydelse att användas på liknande sätt. (Det står att Firth stått för att göra hypotesen populär, men den stämmer också bra med det jag förstått av den senare Wittgenstein som säger att ordens användning bestämmer deras betydelse.)

En viktig anmärkning i sammanhanget tycker jag är att det inte finns någon semantisk representation i den här modellen. Det enda som finns är rymden av ord, och var ett ord hamnar bestäms endast av var de andra orden befinner sig.

Nåväl, det som Fasttext-projektet har gjort är bland annat att träna upp ett nätverk på många olika texter. För svenska har man tagit svenska Wikipedia. Att träna ett nätverk betyder i det här fallet att man har bestämt de olika ordens positioner i den multidimensionella rymden. Man har använt sig av en rymd i 300 dimensioner, och den är ju då väldigt svår att visualisera. Om man vill titta på rymden kan man använda tekniker för dimensionsreduktion (som t-SNE) eller så får man utforska rymden på andra sätt.

Så här kan en liknande rymd se ut i två dimensioner:

Det här är ju bara två dimensioner av 300, så det som ligger nära varann i de här två dimensionerna kan ligga långt ifrån eller närmare i någon annan dimension. Det är väldigt abstrakt med de här dimensionerna, men man får vänja sig vid det. Ju förr man kan se en punkt i många dimensioner framför sig, desto snabbare inser man styrkan (och svagheterna) i modellen.

Det lilla verktyget Ketchum tar de färdigtränade Fasttext-vektorerna och ger ett litet interface där man kan utforska närliggande ord.

Så här kan det se ut:

Det är lätt att verktyget kommer in på något som liknar ordlikhet, snarare än semantiska associationer. Det kan bero på att det först hittar böjningsformer, och att hela historiken spelar roll för hur den fortsätter att leta. Det är spännande att det kan hitta "omutlig" i associationerna till byråkrati.

Med grönsaker känns det som att fungerar ganska bra, liksom billackering:

Det är relativt lätt att sätta upp Ketchum.

Lite teknik: jag installerade beroendena, var tvungen att använda sudo. Jag kör Python 3 så då blir installationen med pip3. Det var något med print(f) som inte fungerade, och jag orkade inte ta reda på vad som var fel, så jag tog helt enkelt bort f-et, så gick det bra. Filen jag laddade ner från Fasttext var inte zippad, men Ketchum förutsatte det... Det slutade med att jag zippade den så att programmet fick tugga sig igenom på rätt sätt. När jag körde igång tog det flera timmar, men sen satte den upp en lokal server. När jag startade systemet andra gången gick det igång genast. Klicka inte på länken till vektorerna, den är en väldigt stor fil...

/Simon

AI, infontokod, infontology, python, kim svensson

Grupper av livsmedel

Låt mig presentera några snuttar ur arbetet med data från Livsmedelsverkets livsmedelsdatabas som jag och Marie Gustafsson Friberger håller på med.

Det finns metadata till alla livsmedel, och de ser ut så här:

['Kött färskt fryst tillagat', '127'],

['Grönsaker', '94'],

['Bullar kakor tårtor mm', '86'],

['Köttprodukter kötträtter', '80'],

['Sås dressing majonnäs', '79'],

['Fisk o skaldjursprodukter o rätter', '69'],

['Fisk färsk fryst kokt', '68'],

['Korv', '60'],

['Grönsaks- rotfrukts- baljväxträtter och produkter', '55'],

['Baljväxter (bönor, linser och ärter)', '51'],

['Soppa mat', '47'],

['Pizza paj pirog färdig smörgås', '46'],

['Mjukt bröd', '42'],

['Frukt färsk fryst', '42'],

['Hård matfettsblandning', '39'],

['Fågel', '39'],

['Potatisprodukter o rätter', '33'],

['Inälvor och organ', '33'],

['Potatis', '31'],

['Efterrätter', '31'],

['Mjöl stärkelse kli', '29'],

['Flingor - frukostflingor', '28'],

['Hårt bröd', '28'],

['Söta soppor kräm o efterrättssås', '26'],

['Kött processat', '25'],

['Ris risnudlar', '25'],

['Glass', '25'],

['Bär färska frysta', '24'],

['Grädde creme fraiche', '23'],

['Nötter frön', '22'],

['Rotfrukter', '22'],

['Fruktjuice mm', '22'],

['Pasta', '21'],

['Saft läsk cider u alkohol', '19'],

['Sylt marmelad gelé äppelmos o dyl', '18'],

['Buljong', '18'],

['Frukt o bär konserverade', '17'],

['Gröt', '16'],

['Färskost o kvarg', '15'],

['Olja', '15'],

['Vatten mineralvatten', '15'],

['Inälvor organ produkter o rätter', '15'],

['Godis som innehåller choklad', '15'],

['Matgryn', '14'],

['Skaldjur bläckfisk färsk fryst kokt', '14'],

['Frukt o bär torkade', '14'],

['Vegetabiliska produkter och mjölkersättning', '13'],

['Pannkakor, våfflor, crêpes', '13'],

['Fisk rökt', '13'],

['Pastarätter', '12'],

['Smaksatt fil yoghurt', '12'],

['Välling', '12'],

['Mjölk', '11'],

['Chips popcorn o dyl', '11'],

['Senap ketchup HP-sås soja *smaksättare*', '11'],

['Hård ost m.m.', '11'],

['Godis ej choklad', '11'],

['Naturell fil yoghurt', '11'],

['Sallad blandad mat', '10'],

['Vin', '10'],

['Svamp', '9'],

['Ägg', '9'],

['Grönsaksblandningar med rotfrukter och eller baljväxter', '9'],

['Korvrätter', '9'],

['Blodprodukter o rätter', '8'],

['Smältost', '8'],

['Dessertost', '8'],

['Kost- o näringspreparat', '8'],

['Choklad', '7'],

['Starksprit', '7'],

['Flytande matfettsblandning', '7'],

['Fisk stekt ej panerad', '7'],

['Smörgåskex', '7'],

['Mesvaror', '6'],

['Skaldjur bläckfisk konserverad', '6'],

['Äggprodukter o rätter', '6'],

['Majonnässallad röror', '6'],

['Rom, kaviar', '6'],

['Socker sirap honung', '6'],

['Kaffe', '5'],

['Fågelprodukter o rätter', '5'],

['Hamburgare med bröd (kött, fisk, fågel, vegetarisk)', '5'],

['Mjölkdryck chokladdryck milkshake smothie m yoghurt', '5'],

['Lightdrycker u energi', '4'],

['Salt', '4'],

['Öl', '4'],

['Övrigt fett (ister, talg, kokosfett)', '4'],

['Övriga sötade drycker vattenchoklad', '4'],

['Te', '4'],

['Grönsaksjuice rotfruktsjuice', '4'],

['Övrigt', '3'],

['Sojaprotein veteprotein Quorn produkter och rätter', '3'],

['Jäst bakpulver', '3'],

['Sylta', '3'],

['Osträtter', '3'],

['Ost med vegetabilskt fett', '3'],

['Deg och gräddade skal och bottnar', '3'],

['Soja- veteprotein o quorn', '3'],

['Smör', '3'],

['Likör', '3'],

['Ättika vinäger', '3'],

['Cider alkoläsk drink', '3'],

['Riskakor', '2'],

['Frukt o bär', '2'],

['Frukt o nötblandningar bars', '2'],

['Gelatin agar agar', '2'],

['Sportdrycker energidrycker', '2'],

['Kakaoprodukter', '2'],

['Tuggummi', '2'],

['Blodmat', '2'],

['Sockerfritt godis', '1'],

['Sötningsmedel', '1'],

['Kryddor', '1'],

['Algprodukter', '1'],

['Risrätter', '1'],

['Tacoskal', '1'],

[ 'Övrigt animaliskt *kött*, grodlår, sniglar, säl - färskt, fryst, tillagat',

'1'],

['Dryck', '1']],

De första säg 20 kategorierna känns helt okej, men de sista 20 måste man väl kunna stoppa in i någon av de övriga??

Ett sätt att se på det här skulle vara att se om det finns någon korrelation mellan näringsvärdena och kategorierna.

/Simon

infontokod, mat

Bra funktioner i numpy

infontokod, programmeringskunskap, python

Bot-prototyper

Det finns en del ramverk för att göra prototyper för konversationsbottar. Detta är av @galaxykate (Kate Compton) via Google och var väldigt lätt att sätta upp och köra lokalt.

Klona koden från https://github.com/google/bottery.

Gå till katalogen där du la koden, starta en server, exempelvis med php -S 127.0.0.1:8000

Gå till 127.0.0.1:8000 i webbläsaren. Kanske behöver man göra några paneler mindre, om man kör på en mindre skärm, så att man inte missar visualiseringarna till höger.

Det finns många exempel, och det jag gillade är att man så tydligt ser vilket läge botten är i för tillfället.

/Simon

infontokod, bottar