La edificación del palacio prosiguió con rapidez cuando, en 1610, se nombró virrey a Pedro Fernández de Castro, también hijo de Fernando Ruiz de Castro.