Prinzipielle Grenzen der Berechenbarkeit

Algorithmus

Definition

---

Ein Algorithmus ist eine Verarbeitungsvorschrift, die aus einer endlichen Folge von eindeutig ausführbaren Anweisungen besteht, die aus endlich vielen Eingabedaten endlich viele Ausgabedaten erzeugt und mit der man eine Vielzahl gleichartiger Aufgaben lösen kann.

Wie du sicher bemerkt hast, kommt in dieser Definition sehr oft der Begriff "endlich" vor. Dies wird später noch eine entscheidende Rolle spielen!

Welche Aufgaben lassen sich mit einem Algorithmus umsetzen? (Lösen einer quadratischen Gleichung) (!Auflistung aller Primzahlen) (Auflistung aller Primzahlen kleiner als 300000) (Konstruieren eines Kreises durch 3 Punkte, die nicht auf einer Gerade liegen) (Wechseln eines Autoreifens) (!Schreiben einer Eins in der Schulaufgabe)

Lösung: [Anzeigen][Verstecken]

• Eine quadratische Gleichung lässt sich immer in folgender Form schreiben: $a\cdot x^2 + b \cdot x + c = 0$. Mittels der Mitternachtsformel $x_{1,2}=\frac{-b\pm\sqrt{b^2-4\cdot a\cdot c}}{b^2}$ erhält man dann die Lösungen.
• Ein Kreis durch 3 Punkte A,B,C die nicht auf einer Gerade liegen lässt sich folgendermaßen Konstruieren: 1) Verbinde die Punkt A und B, sowie B und C mit einer Strecke. 2) Konstruiere die Mittelsenkrechten der Strecken [AB] und [BC]. 3) Der Schnittpunkt M der beiden Mittelsenkrechten von [AB] und [BC] ist der Mittelpunkt des Kreises durch die Punkte A,B und C. 4) Zeichne den Kreis mit Mittelpunkt M und Radius [MA].
• Das Wechseln eines Autoreifens folgendermaßen bewerkstelligen: 1) Stelle den Wagenheber unter die Markierung für den zu wechselnden Reifen. 2) Betätige den Wagenheber, so dass der Reifen entlastet wird, aber immer noch Bodenkontakt hat. 3) Lockere die Radmuttern mit Hilfe des Radkreuzes durch Drehen gegen den Uhrzeigersinn, aber schraube die Radmuttern nicht ganz ab. 4) Betätige den Wagenheber weiter, so dass der Reifen keinen Bodenkontakt mehr hat. 5) Ziehe den Reifen vorsichtig ab, so dass das Auto nicht vom Wagenheber rutscht. 6)Führe die Schritte 1-5 in umgekehrter Reihenfolge und umgekehrter Drehrichtung mit dem neuen Reifen durch.
• Ein Auflistung aller Primzahlen ist nicht möglich, da es unendlich viele davon gibt. Dies widerspricht der Definition eines Algorithmus, dass er endlich viele Ausgabedaten erzeugt.
• Die Auflistung alles Primzahlen ist aber z.B. mit dem Sieb des Eratostenes möglich, da es eine feste Anzahl ist.
• Das Schreiben einer Eins ist leider nicht möglich, sonst könnte man in jedem Fach ohne große Probleme eine Eins haben.

Gödelisierung

Wir versuchen jetzt Hilfe von der Mathematik zu erhalten. Dazu wandelt man Probleme in eine Form um, die es erlaubt, Wissen über Abbildungen innerhalb der natürlichen Zahlen zu benutzen. Um dies zu erreichen, wandelt man die Ein- und Ausgabedaten in natürliche Zahlen um.

Aufgabe   Die 26 Buchstaben des Alphabets werden mit den Zahlen 1 bis 26 kodiert. Damit könnte man ein geschriebenes Wort als Zahl schreiben. Dekodiere die Zahl "26235945212097"! Welche Buchstabenfolge erhält man nach dem Dekodieren? [Lösung anzeigen][Lösung ausblenden] Möglichkeiten für das dekodierte Wort sind z.B.: ZWEIDEUTIG oder BFBCEIDEBATIG oder ...

Aufgabe   Nun werden die 26 Buchstaben des Alphabets mit den Zahlen 01 bis 26 kodiert. Schreibt man die kodierten Buchstaben hintereinander, so erhält man eine Zahl. Dekodiere die Zahl 26230509060512121519. [Lösung anzeigen][Lösung ausblenden] Das dekodierte Wort lautet: ZWEIFELLOS

Aufgabe   Nun werden die 26 Buchstaben des Alphabets wie folgt kodiert: Den 26 Buchstaben des Alphabets wird jeweils eine eindeutige Zahl zwischen 1 und 26 zugeordnet. Ein Wort wird nun mit fortlaufenden Primzahlpotenzen kodiert, also wenn a die Zahl 1, b die Zahl 2, c die Zahl 3 zugeordnet wird, dann wird das Wort abbca wie folgt kodiert: a ist der erste Buchstabe des Wortes und 2 die erste Primzahl. Also wird das a mit $2^1=2$ kodiert. b ist der zweite Buchstabe des Wortes und 3 die zweite Primzahl. Also wird das b mit $3^2=9$ kodiert. b ist der dritte Buchstabe des Wortes und 5 die dritte Primzahl. Also wird dieses b mit $5^2=25$ kodiert. c ist der vierte Buchstabe des Wortes und 7 die vierte Primzahl. Also wird das c mit $7^3=343$ kodiert. a ist der fünfte Buchstabe des Wortes und 11 die fünfte Primzahl. Also wird dieses a mit $11^1=11$ kodiert. Multipliziert man diese Zahlen miteinander, erhält man die Zahl $2\cdot 9\cdot 25\cdot 343\cdot 11=1697850$. Da die Primfaktorzerlegung eindeutig ist, wenn man die Primzahlpotenzen aufsteigend ordnet, kann man aus jeder Zahl das zugehörige Wort erzeugen. Welche Buchstabenfolge erhält man, wenn man die Zahl $2^9\cdot 3^{14}\cdot 5^6\cdot 7^{15}\cdot 11^{18}\cdot 13^{13}\cdot 17^{1}\cdot 19^{20}\cdot 23^9\cdot 29^{11}$dekodiert? [Lösung anzeigen][Lösung ausblenden] Das dekodierte Wort lautet: INFORMATIK. Diese Art der Kodierung ist eher von theoretischer Bedeutung, weil man sehr schnell extrem große Zahlen erhält. Das obige Beispiel ergäbe ausmultipliziert $4295755033035330312782822373101172263241726791467766561298496119787168861226939162111091690789226678438109832000000$ (eine 115-stellige Zahl). Es ist auch ziemlich aufwändig diese Zahlen in Primfaktoren zu zerlegen. Aus diesem Grund sind große Primzahlen für die Verschlüsselungstechnik so wichtig.

Mit einer Gödelisierung lassen sich beliebige Ein- und Ausgaben in natürliche Zahlen umwandeln und umgekehrt. Dies kann mehr oder minder geschickt erfolgen. Kurt Gödel hat sich mit solchen Fragestellungen beschäftigt, weshalb man entsprechende Verfahren Gödelisierungen nennt. Diese Vorgehensweise wird häufig in der theoretischen Informatik verwendet, da sich Algorithmen dadurch als Funktionen über den natürlichen Zahlen abbilden lassen. Zur Umwandlung existieren verschiedenste Verfahren.

Definition

---

Eine Gödelisierung ist eine Abbildung $g$ von der Menge der Ein- und Ausgaben $M$ eines Algorithmus in die Menge der natürlichen Zahlen $\mathbb{N}$: $g: M \rightarrow \mathbb{N}$. Die Abbildung muss dabei noch drei Bedingungen erfüllen:

• $g$ muss injektiv sein, d.h. jede natürliche Zahl darf höchstens das Bild von einem Programm sein; aber nicht jede natürliche Zahl muss auch ein Programm sein
• Die Bildmenge muss entscheidbar sein, es muss also einen Algorithmus geben, der Ja ausgibt, wenn die Zahl einer gültigen Ein- oder Ausgabe entspricht und Nein, wenn es keine ist.
• Die Umkehrfunktion $g^{-1}$ muss berechenbar sein, d.h. man muss aus der natürlichen Zahl auch wieder das Programm bekommen können.

Welches der obigen Verfahren eignet sich für eine Gödelisierung? (!Kodierung mit Zahlen 1 bis 26) (Kodierung mit Zahlen 01 bis 26) (Kodierung mit Primzahlpotenzen)(!Keines der Verfahren)

Durch die Hilfe der Gödelisierung kann man also jeden Algorithmus als eine Abbildung von einer natürlichen Zahl auf eine andere ansehen.

Wie viele Algorithmen gibt es?

Wie bei der Definition des Begriffes Algorithmus bereits erwähnt wurde, ist der Begriff der Endlichkeit von großer Bedeutung. Da ein Algorithmus eine endliche Folge von Anweisungen ist, besteht ein Algorithmus auch nur aus endlich vielen Zeichen. Mit der oben beschriebenen Gödelisierung lässt sich also jeder Algorithmus auch als eine natürliche Zahl auffassen. Weil dann die Menge aller Algorithmen eine Teilmenge der natürlichen Zahlen ist, sind die Algorithmen abzählbar, man kann die Algorithmen also durchnummerieren.

Durch die Gödelisierung kann man die Algorithmen als Funktionen natürlicher Zahlen ansehen. Wir schreiben die Algorithmen und die möglichen Eingaben als eine unendlich große zweidimensionale Tabelle auf. An der Seite werden die Algorithmen bzw. die Funktionen der Reihe nach angetragen und als Spaltenüberschriften werden die möglichen Eingaben als Gödelnummer angetragen:

	1	2	3	4	5	...
$f_1$	$f_1(1)$	$f_1(2)$	$f_1(3)$	$f_1(4)$	$f_1(5)$	...
$f_2$	$f_1(1)$	$f_1(2)$	$f_2(3)$	$f_2(4)$	$f_2(5)$	...
$f_3$	$f_3(1)$	$f_3(2)$	$f_3(3)$	$f_3(4)$	$f_3(5)$	...
$f_4$	$f_4(1)$	$f_4(2)$	$f_4(3)$	$f_4(4)$	$f_4(5)$	...
$f_5$	$f_5(1)$	$f_5(2)$	$f_5(3)$	$f_5(4)$	$f_5(5)$	...
...	...	...	...	...	...	...

Diese Tabelle enthält alle algorithmisierbaren Funktionen. In der ersten Zeile stehen alle Funktionswerte der Funktion $f_1$, in der zweiten Zeile stehen alle Funktionswerte der Funktion $f_2$ usw.

Wir definieren uns nun eine Funktion $g$ wie folgt:

$g(n)=f_n(n)+1$

Diese Funktion ist offensichtlich berechenbar, also müsste sie irgendwo in der Folge $f_1,f_2,f_3,...$ vorkommen. Wir nehmen an, dass es die Funktion mit der Nummer $e$ ist, also $g=f_e$. Wir erhalten aus der Definition von $g$, dass $g(e)=f_e(e)+1$ ist, aber aus $g=f_e$ folgt, dass $g(e)=f_e(e)$ gilt. Es soll also $f_e(e)=f_e(e)+1$ sein. Das kann aber nicht sein. Also haben wir einen Widerspruch gefunden und die Funktion $g$ kann kein Algorithmus sein!

Damit haben wir eine Funktion gefunden, für die kein Algorithmus existieren kann!

Merke Es gibt arithmetische Funktionen, die nicht berechenbar sind. Es gibt überabzählbar viele arithmetische Funktionen, von denen aber nur abzählbar viele berechenbar sind. Im Vergleich dazu, was ein Computer nicht kann, ist das, was er kann vernachlässigbar.

Beispiele für Probleme, die nicht algorithmisch lösbar sind:

• Fermatsche Vermutung: Es gibt keine natürlichen Zahlen $n\geq 3$, für die positive ganze Zahlen $x,y,z$ existieren mit $x^n+y^n=z^n$. Erst 1994 konnte Andrew Wiles diese Vermutung mit einem 100seitigen Beweis bestätigen.
• Goldbachsche Vermutung: Jede gerade Zahl $n\geq4$ lässt sich als Summe von zwei Primzahlen darstellen. Diese Vermutung konnte bis heute weder bewiesen noch widerlegt werden.
• Gibt es unendliche viele Primzahlzwilligen (zwei Primzahlen, die eine Differenz von 2 haben)? Diese Frage konnte bis heute nicht entschieden werden.

Turing-Maschine

Bisher haben wir uns bei der Programmierung von Algorithmen immer auf eine Programmiersprache beschränkt (Java, C, C++, C#, VisualBasic, Pascal,...). Nun stellt sich die Frage, ob die eine Programmiersprache mehr kann als die andere.

Der englische Mathematiker Alan Turing hat dazu mit seinem Modell der Turingmaschine einen entscheidenden Teil dazu beigetragen. Er entwickelte dazu ein mathematisches Modell, das das systematische Vorgehen des Menschen z.B. bei der Addition nachbildet. Man benötigt dazu einen Bleistift, ein Rechenblatt und einen Radiergummi. Auf dem Rechenblatt werden die Rechnungen sowie alle Rechenergebnisse aufgeschrieben. Mit dem Bleistift kann man Zeichen auf das Blatt schreiben und mit dem Radiergummi auch wieder löschen. Die Aktion die man ausführt hängt nur von den endlich vielen Zeichen auf dem Rechenblatt ab. Die Berechnung selbst wird durch eine Berechnungsvorschrift gesteuert.

Die Turingmaschine besteht deswegen aus folgenden Komponenten:

• einem unendlich langen Speicherband mit unendlich vielen Feldern. In jedem dieser Felder ist genau ein Zeichen gespeichert. Dabei ist als Zeichen ein Blanksymbol (Leerzeichen) zugelassen, was so viel bedeutet wie „leeres Feld“. Das Blanksymbol gehört nicht zu der Menge der Eingabezeichen. Zur Vereinfachung der Vorstellung kann man auch ein endliches Band vorstellen. Dieses muss dann aber lang genug sein, damit die Berechnungen ausgeführt werden können.

• einem Schreib-/Lesekopf, der ein Zeichen aus dem aktuellen Feld lesen und hineinschreiben kann, sowie seine Position ein Feld nach links oder rechts bewegen kann.

• einem internen Zustand

Je nach Zustand, in dem sich die Turing-Maschine befindet, kann sie ein Zeichen auf das Band schreiben, den Schreib-/Lesekopf um ein Feld nach links oder rechts bewegen und den internen Zustand ändern.

Eine Turing-Maschine lässt sich formal folgendermaßen Beschreiben:

Definition

---

Eine Turingmaschine ist gegeben durch $(Z,\Sigma,\Gamma,z_0,\Box,Z_e,f)$ mit

• einer endliche Zustandsmenge $Z$
• einer endliche Menge an Eingabezeichen $\Sigma$
• einer Menge an zulässigen Bandzeichen $\Gamma\supseteq \Sigma$
• einem Startzustand $z_0$
• dem Blank-Symbol $\Box$
• einer Megne an Endzuständen $Z_e\subset Z$
• einer Überführungsfunktion $Z\backslash Z_e \times \Gamma \rightarrow Z \times \Gamma \times \{L,R,0\}$ (L $=$ Schreib-/Lesekopfbewegung nach links, R $=$ Schreib-/Lesekopfbewegung nach rechts, 0 $=$ keine Schreib-/Lesekopfbewegung)

Hier findet ihr noch eine Turing-Maschinen-Simulator als Java-Anwendung (Java Runtime Environment 1.5 oder höher muss installiert sein):

Turingmaschinen-Simulator

(Quelle: [1]. Dort findet sich auch eine Dokumentation)

Um den Simulator zu nutzen, musst du diesen herunterladen und auf deinem Rechner entpacken. Anschließend die Datei alan-1.0.jar öffnen. Durch anklicken des Ordner-Symboles kann man vorgefertigte Turingprogramme laden und ausführen. Die Anfangskonfiguration kann man im Feld "Tape Start" angeben. Mit einem Klick auf das Play-Symbol startet die Maschine mit der Ausführung des Programms. Selbstverständlich kann man auch eigene Programme erstellen und speichern. Nähere Informationen findest du in der beigelegten PDF-Datei.

Churchsche These

Warum befassen wir uns mit Turing-Maschinen? Das Modell der Turing-Maschinen ist die erste exakte Präzisierungen des Begriffs "Algorithmus" gewesen, d.h. jede berechenbare Funktion kann durch eine Turing-Maschine realisiert werden. Umgekehrt repräsentiert jede Turing-Maschine eine berechenbare Funktion. Das ist der Grund, warum sich die theoretische Informatik mit Turing-Maschinen beschäftigt.

Merke These von Church Jede im intuitiven Sinne berechenbare Funktion ist auch turing-berechenbar, d.h. man kann eine Turing-Maschine entwerfen, die diese Funktion berechnet.

Diese These kann man natürlich nicht beweisen, da der Begriff "intuitiv berechenbar" nicht mathematisch präzisiert werden kann. Man kann aber zeigen, dass die mächtigsten Berechenbarkeitsmodelle genauso mächtig sind, wie eine Turingmaschine, also auch Programmiersprachen wie Java, Pascal, Fortran, usw.

Nicht berechenbare Probleme

Fleißige Biber

Als Abschluss wollen wir noch eine klar zu beschreibende und dennoch nicht berechenbare Aufgabe betrachten: Die Fleißigen Biber (engl. busy beaver).

Bei den Fleißigen Bibern geht es darum, eine Turing-Maschine mit $n$ Zuständen (plus einem Endzustand) zu finden, die eine maximale Anzahl an Einsen auf das Band schreibt und dann stoppt. Nun ist die Frage, wie viele Einsen das sind. Man bezeichnet diese Funktion auch als Radó-Funktion.

Überlegen wir uns einmal, wie viele verschiedene Turingmaschinen man mit $n$ Zuständen "bauen" kann.

Die Überführungsfunktion einer solchen Turingmaschine ist dann wie folgt definiert:

$\delta: (Z\backslash Z_e,\Gamma)\rightarrow (Z,\Gamma,\{L,R,0\})$

Dabei ist

• $|Z\backslash Z_e|=n$ (Anzahl der Nicht-Endzustände)
• $|\Gamma|=|\{\Box,1\}|=2$ (Anzahl der Buchstaben des Bandalphabets)
• $|Z|=n+1$ (Anzahl aller Zustände incl. Endzustand)
• $|\{L,R,0\}|=3$ (Anzahl der möglichen Bandbewegungen).

Die Definitionsmenge der Überführungsfunktion hat dann also $|(Z\backslash Z_e, \Gamma)| = |Z\backslash Z_e|\cdot |\Gamma| = n \cdot 2$ Elemente und die Zielmenge $|(Z,\Gamma,\{L,R,0\})| = |Z| \cdot |\Gamma| \cdot |\{L,R,0\}| = (n+1)\cdot 2 \cdot 3 = 6\cdot (n+1)$ Elemente.

Man weiß, dass die Anzahl der Abbildungen zwischen zwei Mengen $M$ mit $m$ Elementen und $N$ mit $n$ Elementen gleich $n^m$ ist.

Die Anzahl der möglichen Turing-Maschinen ist dann die Anzahl der Abbildungen zwischen $(Z\backslash Z_e, \Gamma)$ und $(Z,\Gamma,\{L,R,0\})$. Dies sind gerade $(6\cdot (n+1))^{2n}$

Damit erhält man in Abhängigkeit von $n$ folgende Anzahl an Turingmaschinen:

n (Anzahl der Zustände)	N (Anzahl der Turingmaschinen)
$1$	$144$
$2$	$104976$
$3$	$191102976$
$4$	$656100000000$
$5$	$3,65615844 \cdot 10^{15}$
$6$	$3,01294695 \cdot 10^{19}$
$7$	$3,44649238 \cdot 10^{23}$
$8$	$5,22757361 \cdot 10^{27}$
$9$	$1,01559957 \cdot 10^{32}$
...	...

Man kann also erkennen, dass die Anzahl der Turing-Maschinen, die man untersuchen muss extrem schnell ansteigt. Aus diesem Grund kennt man auch erst die ersten 4 Werte der Radó-Funktion $\Sigma(n)$. Diese sind:

• $\Sigma(1)=1$
• $\Sigma(2)=4$
• $\Sigma(3)=6$
• $\Sigma(4)=13$

Für alle größeren $n$ gibt es nur Schätzungen. Von $\Sigma(5)$ weiß man nur, dass der Wert mindestens 4096 ist, d.h. eine Turingmaschine mit 5 Zuständen kann mindestens 4096 Einsen auf ein leeres Band schreiben, eine Turing-Maschine mit 6 Zuständen sogar mindestens 95524079 Einsen. Dies liegt daran, dass man alle möglichen Turing-Maschinen testen muss, ob sie anhalten oder nicht. Wenn eine Turing-Maschine anhält, weiß man, wie viele Einsen sie auf das Band geschrieben hat. Hält eine Turing-Maschine allerdings nicht an, muss man noch beweisen, dass sie nicht anhält.

Auch für kleinere Zustandszahlen ist es nicht möglich alle möglichen Turingmaschinen zu überprüfen. Angenommen wir hätten einen Computer, der in einer Sekunde 1 Million Turing-Maschinen überprüfen kann, ob sie hält und wenn ja, wie viele Einsen sie auf das leere Band schreiben kann, würde dies für $n=5$ bereits über 115 Jahre dauern.

Temporär

Aufgabe   Die Schüler der Kollegstufe besuchen $n$ verschiedene Kurse. Jeder Kurs findet einmal pro Woche statt. Belegt ein Schüler zwei Kurse, so dürfen diese nicht gleichzeitig stattfinden. Kann man mit $k$ verschiedenen Terminen auskommen? Erstelle hierzu eine Graphen, wobei ein Knoten einem Kurs entspricht. Zwei Knoten werden genau dann miteinander verbunden, wenn ein Schüler die beiden entsprechenden Kurse besucht. Man kann die Aufgabe als sogenanntes k-Farbproblem auffassen.

Kontrollfragen

Warum Gödelisierung?