Enrique IV lo amplía convirtiéndolo en palacio, añadiéndole patios, jardines y baños.