El fundador de la dinastía, el conde Radbot de Habsburgo pasó a controlar el castillo como vasallo del duque de Suabia a principios siglo XI.