Fue reconvertido para adecuarlo como lugar de residencia de Felipe II, que vivió intermitentemente en él a lo largo de los 21 años que duraron las obras.