En 1838, Charles Wilkes part dans une mission d'exploration financée par le Congrès américain pour naviguer autour du globe. Durant son expédition, Wilkes collecte des spécimens vivants et morts de plantes tout au long de son long voyage. Il revint finalement en 1842 avec une collection impressionnante de plantes auparavant inconnues aux États-Unis. Les spécimens séchés ont été le début de la collection qui est maintenant connue sous le nom de National Herbarium, qui est entretenue par le Smithsonian's National Museum of Natural History. Les spécimens vivants et les graines furent disposées au Old Patent Office Museum greenhouse et y sont restés jusqu'à 1850. À ce moment-là, on créa un jardin botanique tout juste en face du Capitole qui contenait toute la collection. Ce n'est qu'en 1933 qu'on emménagea dans le bâtiment actuel, au sud-ouest du Capitole. Ce bâtiment est bordé par la rue Maryland au nord, la First Street à l'est, l'Independance Avenue au sud et la Third Street à l'ouest. On a dû fermer le jardin botanique pour des rénovations majeures le . Il a rouvert au public le . Durant le temps des rénovations, la collection fut envoyée au U.S. Botanic Garden Production Facility.