Fue residencia de los Ruiz de Toledo y de los Pérez de Guzmán, señores de Orgaz.