# Algorithmus von Kruskal

Der Algorithmus von Kruskal ist ein Greedy-Algorithmus der Graphentheorie zur Berechnung minimaler Spannbäume von ungerichteten Graphen. Der Graph muss dazu zusätzlich zusammenhängend, kantengewichtet und endlich sein.
Der Algorithmus stammt von Joseph Kruskal, der ihn 1956 in der Zeitschrift „Proceedings of the American Mathematical Society“ veröffentlichte. Er beschrieb ihn dort wie folgt:
    Führe den folgenden Schritt so oft wie möglich aus: Wähle unter den noch nicht ausgewählten Kanten von $G$ (dem Graphen) die kürzeste Kante, die mit den schon gewählten Kanten keinen Kreis bildet.
Die kürzeste Kante bezeichnet dabei jeweils die Kante mit dem kleinsten Kantengewicht. Nach Abschluss des Algorithmus bilden die ausgewählten Kanten einen minimalen Spannbaum des Graphen.
Wendet man den Algorithmus auf unzusammenhängende Graphen an, so berechnet er für jede Zusammenhangskomponente des Graphen einen minimalen Spannbaum. Diese Bäume bilden einen minimalen aufspannenden Wald.

## Idee

Der Algorithmus von Kruskal nutzt die Kreiseigenschaft minimaler Spannbäume (englisch minimum spanning tree, MST). Dazu werden die Kanten in der ersten Phase aufsteigend nach ihrem Gewicht sortiert. In der zweiten Phase wird über die sortierten Kanten iteriert. Wenn eine Kante zwei Knoten verbindet, die noch nicht durch einen Pfad vorheriger Kanten verbunden sind, wird diese Kante zum MST hinzugenommen.

## Beispiel

* Dies ist der Graph, zu dem nach dem Algorithmus von Kruskal ein minimaler Spannbaum berechnet wird. Die Zahlen bei den einzelnen Kanten geben das jeweilige Kantengewicht an. Zu Beginn ist noch keine Kante ausgewählt.
* Die Kanten AD und CE sind die kürzesten (noch nicht ausgewählten) Kanten des Graphen. Beide können ausgewählt werden. Hier wird zufällig AD ausgewählt. (Dass diese keinen Kreis bildet, ist im ersten Schritt selbstverständlich.)
* Nun ist CE die kürzeste, noch nicht ausgewählte Kante. Da sie mit AD keinen Kreis bildet, wird sie nun ausgewählt.
* Die nächste Kante ist DF mit Länge 6. Sie bildet mit den schon gewählten Kanten keinen Kreis und wird deshalb ausgewählt.
* Jetzt könnten die Kanten AB und BE, jeweils mit Länge 7, ausgewählt werden. Es wird zufällig AB gewählt. Die Kante BD wird rot markiert, da sie mit den bis jetzt gewählten Kanten einen Kreis bilden würde und somit im weiteren Verlauf des Algorithmus nicht mehr berücksichtigt werden muss.
* BE ist nun mit Länge 7 die kürzeste der noch nicht ausgewählten Kanten und da sie mit den bisher gewählten keinen Kreis bildet, wird sie ausgewählt. Analog zur Kante BD im letzten Schritt werden jetzt die Kanten BC, DE und FE rot markiert.
* Als letzte wird die Kante EG mit Länge 9 ausgewählt, da alle kürzeren bzw. gleich langen Kanten entweder schon ausgewählt sind oder einen Kreis bilden würden. Die Kante FG wird rot markiert. Da nun alle nicht ausgewählten Kanten einen Kreis bilden würden (sie sind rot markiert) ist der Algorithmus am Ende angelangt und der grüne Graph ist ein minimaler Spannbaum des zugrundeliegenden Graphen.

## Algorithmus

Die Grundidee ist, die Kanten in Reihenfolge aufsteigender Kantengewichte zu durchlaufen und jede Kante zur Lösung hinzuzufügen, die mit allen zuvor gewählten Kanten keinen Kreis bildet. Es werden somit sukzessiv sogenannte Komponenten zum minimalen Spannbaum verbunden.

### Input

Als Eingabe dient ein zusammenhängender kantenbewerteter Graph $G=(V,\,E,\,w)$. $V$ bezeichnet die Menge der Knoten (vertices), $E$ die Menge der Kanten (edges). Die Gewichtsfunktion $w\colon E\rightarrow \mathbb {R}$ ordnet jeder Kante ein Kantengewicht zu.

### Output

Der Algorithmus liefert einen minimalen Spannbaum $M=(V,\,E')$ mit $E'\subseteq E$.

### Pseudocode

Der Algorithmus von Kruskal arbeitet nicht-deterministisch, d. h., er liefert unter Umständen beim wiederholten Ausführen unterschiedliche Ergebnisse. Alle diese Ergebnisse sind minimale Spannbäume von $G$.
Derselbe Algorithmus lässt sich analog für einen maximalen Spannbaum anwenden. Sei $G=(V,E,w)$ etwa ein zusammenhängender kantengewichteter Graph. Dann gibt man $G'=(V,E,w')$ mit $w'(e)=s-w(e)$, $s\in \mathbb {N}$ und $\forall e\in E\,:s>w(e)$ im Algorithmus von Kruskal ein. Als Ausgabe erhält man schließlich einen minimalen Spannbaum von $G'$ und somit einen maximalen von $G$.
Zum Testen, ob Knoten $u$ und $v$ in unterschiedlichen Teilbäumen sind, kann eine Union-Find-Struktur verwendet werden. Dann ergibt sich eine Laufzeit von $O(T_{\text{sort}}(|E|)+|E|\cdot \alpha (|V|))$. Dabei ist $T_{\text{sort}}$ die Zeit, die zum Sortieren der Kantengewichte benötigt wird und $\alpha (\cdot )$ das Inverse der Ackermannfunktion. Für realistische Eingaben ist $\alpha (|V|)$ immer kleiner oder gleich $5$

### Programmierung

Das folgende Beispiel in der Programmiersprache C++ zeigt die Implementierung eines ungerichteten Graphen mit einem Array von Kanten. Der ungerichtete Graph wird als Klasse UndirectedGraph deklariert. Bei der Ausführung des Programms wird die Methode main verwendet, die die Kanten und Kantengewichte eines minimalen Spannbaums auf der Konsole ausgibt. Die Funktion unionSubsets verwendet union by rank, um zwei Teilmengen von Kanten des Graphen zu vereinigen.

### Varianten
#### Paralleles Sortieren

Das Sortieren der ersten Phase kann parallelisiert werden. In der zweiten Phase ist es für die Korrektheit jedoch wichtig, dass die Kanten nacheinander abgearbeitet werden. Mit $O(\log |V|)$ Prozessoren kann in linearer Zeit parallel sortiert werden. Dadurch sinkt die Gesamtlaufzeit auf $O(|E|\cdot \alpha (|V|))$.

#### Filter-Kruskal

Eine Variante des Algorithmus von Kruskal namens Filter-Kruskal wurde von Osipov et al. beschrieben und eignet sich besser zur Parallelisierung. Die grundlegende Idee besteht darin, die Kanten in ähnlicher Weise wie bei Quicksort zu partitionieren und anschließend Kanten auszusortieren, welche Knoten im gleichen Teilbaum verbinden, um somit die Kosten für die weitere Sortierung zu verringern. Filter-Kruskal eignet sich besser zur Parallelisierung, da das Sortieren, Partitionieren und Filtern einfach parallel ausgeführt werden können, indem die Kanten zwischen den Prozessoren aufgeteilt werden. Der Algorithmus wird im folgenden Pseudocode dargestellt.

## Korrektheitsbeweis

Sei $G=(V,E,w)$ ein zusammenhängender kantengewichteter Graph und $M=(V,E')$ die Ausgabe des Algorithmus von Kruskal. Um nun die Korrektheit des Algorithmus zu beweisen, muss Folgendes gezeigt werden:
* der Algorithmus terminiert (er enthält keine Endlosschleife).
* $M$ ist ein minimaler Spannbaum von $G$, also:
** $M$ ist spannender Teilgraph von $G$.
** $M$ enthält keinen Kreis.
** $M$ ist zusammenhängend.
** $M$ ist bezüglich $G$ minimal.
Im Nachstehenden folgen einige Beweisideen, die die Gültigkeit der einzelnen Aussagen darlegen:

### Terminierung

    Durch Zeile 6 wird in jedem Schleifendurchlauf genau ein Element aus $L$ entfernt. Außerdem wird $L$ durch keine weitere Operation verändert. Aus $L$ werden wegen Zeile 4 nur solange Elemente entfernt, bis $L=\emptyset$. Da zu Beginn im Algorithmus $L=E$ gesetzt wurde und $E$ nach Definition nur endlich ist, wird auch die Schleife nur endlich oft durchlaufen. Daraus folgt, dass Kruskals Algorithmus terminiert.

### M ist aufspannender Teilgraph von G

    Da die Menge der Knoten nach Definition des Algorithmus bei $M$ und $G$ gleich ist und wegen Zeile 8 offensichtlich $E'\subseteq E$ gilt, ist $M$ aufspannender Teilgraph von $G$.

### M enthält keinen Kreis

    Dass $M$ keinen Kreis beinhalten kann, ist durch Zeile 7 trivial.

### M ist zusammenhängend

    Im Folgenden wird indirekt gezeigt, dass $M$ zusammenhängend ist. Sei $M$ also nicht zusammenhängend. Dann gibt es in $M$ zwei Knoten $x$ und $y$, die nicht durch einen Weg verbunden sind. Da aber $x$ und $y$ in $G$ durch einen Weg verbunden sind, existiert eine Kante $k$ in $G$, welche nicht in $M$ vorhanden ist. Der Algorithmus betrachtet in Zeile 7 garantiert jede Kante aus $G$ und damit auch $k$. Der Graph $(V,E'\cup \lbrace k\rbrace )$ in Zeile 7 muss kreisfrei sein, da es zwischen $x$ und $y$ in $M=(V,E')$ keinen Weg gibt. Mit Zeile 8 wird $k$ dann in $M$ eingefügt. Dies widerspricht allerdings der Tatsache, dass $k$ nicht in $M$ enthalten ist. Somit ist unsere Annahme hinfällig und $M$ doch zusammenhängend.

### M ist bezüglich G minimal

    Wir zeigen durch Induktion, dass für $k=0,...,n$ die folgende Behauptung wahr ist
Wenn $F$ die Kantenmenge ist, die im $k$-ten Schritt des Algorithmus erzeugt wurde, dann gibt es einen minimalen Spannbaum, der $F$ enthält. Die Behauptung ist für $k=0$ wahr, d. h. $F=\emptyset$ (d. h., es ist noch keine Kante eingeplant). Jeder minimale Spannbaum erfüllt die Behauptung und es existiert ein minimaler Spannbaum, da ein gewichteter, zusammenhängender Graph immer einen minimalen Spannbaum besitzt. Jetzt nehmen wir an, dass die Behauptung für $0\leq k<n$ erfüllt ist und $F$ die vom Algorithmus nach Schritt $k$ erzeugte Kantenmenge ist. Es sei $H$ ein minimaler Spannbaum, der $F$ enthält. Wir betrachten jetzt den Fall $k+1$. Dafür sei $e$ die letzte vom Algorithmus eingefügte Kante.

### Falls $e\in H$

    Dann ist die Behauptung auch für $F+e$ erfüllt, da der minimale Spannbaum $F$ um eine Kante aus dem minimalen Spannbaum $H$ erweitert wird.

### Falls $e\notin H$

    Dann enthält $H+e$ einen Kreis und es gibt eine Kante $f$, die im Kreis, aber nicht in $F$ liegt. (Wenn es keine solche Kante $f$ geben würde, dann hätte $e$ nicht zu $F$ hinzufügt werden können, da dann ein Kreis entstanden wäre.) Damit ist $H-f+e$ ein Baum. Weiterhin kann das Gewicht von $f$ nicht geringer als das Gewicht von $e$ sein, da sonst der Algorithmus $f$ anstelle von $e$ hinzugefügt hätte. Mit $w(e)\leq w(f)$ folgt, dass $w(H-f+e)\leq w(H)$ gilt. Da aber $H$ minimaler Spannbaum ist, gilt außerdem $w(H)\leq w(H-f+e)$ und daraus folgt $w(H-f+e)=w(H)$. Somit ist $H-f+e$ ein minimaler Spannbaum, der $F+e$ enthält, und die Behauptung ist erfüllt.
Damit folgt für $k=n$, dass der Kruskal-Algorithmus nach $n$ Schritten eine Menge $F$ erzeugt, die zu einem minimalen Spannbaum erweitert werden kann. Da aber das Ergebnis nach $n$ Schritten des Algorithmus bereits ein Baum ist (wie oben gezeigt wurde), muss dieser minimal sein.

## Zeitkomplexität

Im Folgenden sei $\left|E\right|$ die Anzahl der Kanten und $\left|V\right|$ die Anzahl der Knoten. Die Laufzeit des Algorithmus setzt sich zusammen aus dem notwendigen Sortieren der Kanten nach ihrem Gewicht und dem Überprüfen, ob der Graph kreisfrei ist. Das Sortieren benötigt eine Laufzeit von ${\mathcal {O}}{\bigl\left|E\right|\cdot \log(\left|E\right|){\bigr )}$. Bei einer geeigneten Implementierung ist das Überprüfen auf Kreisfreiheit schneller möglich, so dass das Sortieren die Gesamtlaufzeit bestimmt. Insbesondere bei Graphen mit vielen Kanten ist insofern der Algorithmus von Prim effizienter.
Wenn die Kanten bereits vorsortiert sind, arbeitet der Algorithmus von Kruskal schneller. Man betrachtet nun, wie schnell das Überprüfen auf Kreisfreiheit möglich ist. Um eine bestmögliche Laufzeit zu erreichen, speichert man alle Knoten in einer Union-Find-Struktur. Diese enthält Informationen darüber, welche Knoten zusammenhängen. Zu Beginn ist noch keine Kante in den Spannbaum eingetragen, daher ist jeder Knoten für sich in einer einzelnen Partition. Wenn eine Kante $(v_{1},v_{2})$ hinzugefügt werden soll, wird überprüft, ob $v_{1}$ und $v_{2}$ in verschiedenen Partitionen liegen. Dazu dient die Operation Find(x): Sie liefert einen Repräsentanten der Partition, in dem der Knoten x liegt. Wenn Find($v_{1}$) und Find($v_{2}$) verschiedene Ergebnisse liefern, dann kann die Kante hinzugefügt werden und die Partitionen der beiden Knoten werden vereinigt (Union). Ansonsten würde durch Hinzunehmen der Kante ein Kreis entstehen, die Kante wird also verworfen. Insgesamt wird die Operation Find $2\cdot \left|E\right|$ (für jede Kante) und die Operation Union $\left|V\right|-1$ mal aufgerufen. Bei Verwenden der Heuristiken Union-By-Size und Pfadkompression ergibt eine amortisierte Laufzeitanalyse für den Algorithmus eine Komplexität von ${\mathcal {O}}(\left|E\right|\cdot \alpha (\left|V\right|))$ (s. Laufzeiten).

## Parallele Implementierung

Aufgrund von Datenabhängigkeiten zwischen den Iterationen lässt sich der Algorithmus von Kruskal grundsätzlich schwer parallelisieren. Es ist jedoch möglich, das Sortieren der Kanten zu Beginn parallel auszuführen oder alternativ eine parallele Implementation eines Binären Heaps zu verwenden um in jeder Iteration die Kante mit dem kleinsten Gewicht zu finden. Durch paralleles Sortieren, was auf $O(n\cdot \log n)$ Prozessoren in $O(n)$ Zeit möglich ist, kann die Laufzeit des Algorithmus auch bei zuvor unsortierten Kanten auf $O(|E|\cdot \log ^{*}|V|)$ reduziert werden.
Eine Variante des Algorithmus von Kruskal namens Filter-Kruskal wurde von Osipov et al. beschrieben und eignet sich besser zur Parallelisierung. Die grundlegende Idee besteht darin, die Kanten in ähnlicher Weise wie bei Quicksort zu partitionieren und anschließend Kanten auszusortieren, welche Knoten im gleichen Teilbaum verbinden, um somit die Kosten für die Sortierung zu verringern. Der Algorithmus wird im folgenden Pseudocode dargestellt.
Filter-Kruskal eignet sich besser zur Parallelisierung, da sowohl das Sortieren und Partitionieren, als auch das Filtern einfach parallel ausgeführt werden kann, indem die Kanten zwischen den Prozessoren aufgeteilt werden.
Weitere Varianten für eine Parallelisierung von Kruskals Algorithmus sind ebenfalls möglich. So besteht zum Beispiel die Möglichkeit, den sequentiellen Algorithmus auf mehreren Teilgraphen parallel auszuführen, um diese dann zusammenzuführen bis schlussendlich nur noch der finale minimale Spannbaum übrigbleibt. Eine simplere Form des Filter-Kruskals, bei welchem Hilfsthreads benutzt werden, um Kanten, die eindeutig nicht Teil des minimalen Spannbaums sind, im Hintergrund zu entfernen, kann ebenfalls verwendet werden.

## Sonstiges

Der Algorithmus diente Kruskal ursprünglich als Hilfsmittel für einen vereinfachten Beweis, dass ein Graph mit paarweise verschiedenen Kantengewichten einen eindeutigen minimalen Spannbaum besitzt.