L'Smithsonian American Art Museum ha canviat de localització en múltiples ocasions i ha tingut diversos noms al llarg de la seva història. La col·lecció va començar l'any 1829 com una petita mostra d'art europeu recopilada pel col·leccionista John Varden. L'any 1841, aquesta col·lecció va ser traslladada a l'Oficina de Patents -ubicació on es troba actualment el museu- on s'uniria a altres mostres d'art en l'anomenat National Institute. El National Institute recollia obres pictòriques, escultòriques i documents importants per la nació com la Declaració d'Independència.