På 1200-tallet ble det bygd et kongelig slott av Hohenstaufen. Etter at dette dynastiet brøt sammen ble slottet eid av grevene av Veringen, og kom slik under huset Habsburg. I 1387 lånt bort til Seneschal av Waldburg. De militære og politiske funksjonene til Bussen stoppet opp i 1633, da slottet ble ødelagt av svenske tropper under trettiårskrigen.