El segundo duque lo adaptó como palacio de residencia, y debió suprimir el foso y puente levadizo, edificando la portada renacentista actual.