El linaje de la familia Padilla que construyó el Castillo y lo poseyó durante los siglos XIV al XVII, fue muy importante durante la Edad Media, con dos ramas principales en Burgos y en Toledo.