El distrito de Schwangau, donde los dos castillos estaban localizados, era feudo de la familia Wittelsbach desde el siglo XV, y para el siglo XIX ambos estaban en ruinas.