1392 erhielt Herzog Stephan III. von Bayern-Ingolstadt die Burg Schwaben bei der Dritten bayerischen Landesteilung. Am Heiligen Abend 1394 wurde die Burg von Herzog Johann II. von Bayern-München im Ersten Bayerischer Hauskrieg angegriffen und der Ort geplündert. Doch erst 1421 wurde die Burg im Bayerischen Krieg von Herzog Ernst erobert. Wiederaufgebaut folgte 1439 eine erneute Belagerung, als Herzog Albrecht III. von Bayern-München, Sohn von Ernst, die kampflose Übergabe der Burg erzwang. Im Dreißigjährigen Krieg stürmten die Schweden 1632 die Burg.