En 1717, fue adquirido por Felipe V como nueva sede de las oficinas del Real Alcázar de Madrid, conociéndose desde entonces como "Palacio de los Consejos".