El castillo perteneció a una de las dos grandes ramas de los Hohenzollern, la de Suabia, que permaneció fiel a Roma tras la Reforma, mientras que los parientes de Prusia se pasaron al protestantismo.