Fue a mediados del siglo XVI cuando Fernando de la Riva-Herrera decide remodelar la torre medieval y construir un palacio más acorde con su condición y con los gustos y necesidades de su tiempo.