Fue diseñado por el arquitecto Juan Bautista de Toledo, quien también comenzó las obras de los llamados «palacios Austria», iniciándose su construcción en 1569.