Fue erigido por orden de Felipe II, quien le encomendó el proyecto al arquitecto Juan Bautista de Toledo, que murió durante su construcción, por lo que su discípulo Juan de Herrera fue el encargado de rematar la obra.