Como ha quedado dicho en la reseña histórica, el castillo-palacio fue solar de los Padilla y en él nacieron varios de sus destacados miembros.