En 1934 la institución se mudó a la antigua Tabacalera (casa del Conde Buenavista, hoy Museo Nacional de San Carlos), e inició la construcción de un edificio ex profeso para albergar a la Lotería Nacional.