Desde 1968, ocupa el antiguo edificio de la Oficina de Patentes ("Old Patent Office"), diseñado por Robert Mills en estilo neogriego y construido entre 1836-1867, que comparte con otro museo smithsoniano, el Museo Smithsoniano de Arte Americano.