En ésta época, su primera mujer, Luisa de Borja y Aragón, mandó realizar un pasadizo desde el Palacio a la iglesia parroquial para poder acceder de su casa a la iglesia directamente.