Spaß mit neuronalen Netzen

Am Wochenende stolperte ich über diesen Artikel der die Anwendung eines Recurrent Neuronal Networks beschreibt, mit dem sich Texte generieren lassen, die – zumindest so die Theorie – ihrer erlernten Eingabe in Form, Stil und Sprache entsprechen.

Bitte?

Ganz einfach ausgedrückt: Ich gebe alle Werke von Shakespeare in Altenglisch herein und erhalte nach Erlernen des Models beliebig viele Texte in Altenglisch, die so aussehen wie die von Shakespeare.

Freundlicherweise existiert eine öffentlich verfügbare optimierte Implementierung für das Microsoft Cognitive Toolkit (CNTK), so dass man gänzlich ohne Programmierung eigene RNNs erstellen kann.

---

Erster Test:

Eingabe: Alle Bundesländer.

Die Bundesländer wurden mehrfach dupliziert und randomisiert, so dass mit einer ca. 40 kB Eingabedatei angelernt wurde. Es wurden 10 Epochen erlernt.

Ausgabe:

temperature=1.0
Brandenburg
Sachsen
Sachsen-Anhalt
Thüringen

temperature=0.8
Hemberg
Bayern
Sachsen
Sachsen-Anhalt
Thüringen
Schleswig-Melrpmomern

temperature=0.6
Niederateburg
Biemern
Remenburg-Vorpoommern
Baden-Anhalt
Hemsen
Rheyerlin
Rhesen-Anhalt
Hürttemberg

temperature=0.5
Badenburg-Nodrdhen-Anfachltet
NlizBadenrhsesein
MMekcklenburg-Vrodorpmmemen
Bremeurlein
MecklewiHamrtan
BrSachrltein

temperature=0.4
Seifalanbur
Sachsenuruin-stümer
SaordhifBemerldigerNinHamburen

temperature=0.0
bNawPVWtepzu
skkcüsTS-kHWcRAte
üSRSMstwsMdPü-ktromzNeso-fMmzl

Wie man sieht, hat der temperature-Wert einen großen Effekt auf die Sinnhaftigkeit der Ausgabe. t=0.6 hat sich hier als sehr zuverlässig herausgestellt.

[..]and finally, the temperature where 1.0 means use the actual probabilities predicted by the model, and lower numbers flatten the distribution so that the samples will be less like the learned model but more “creative”.

---

Okay, das hat gut funktioniert. Nächster Versuch.

Eingabe: Alle DAX-Unternehmen.

Die Unternehmen wurden ebenfalls mehrfach dupliziert und randomisiert. Es wurden 50 Epochen erlernt.

Ausgabe (t=0.6 und “best-of”-Selektion):

Omemenzbank
WCCommergenz
HansT
Luthasnians
Lutsche TenkelInsagen
WestlanCius
TechmeRengeen Veon
Deutsche Tefken
Adiuls
Temlenk
Rolkswagen
Heidelzbadia

 

Göttlich.