La biblioteca fue construida en terrenos que habían sido adquiridas por el estado de Georgia para un proyecto de carretera que fue cancelado por Carter cuando él era gobernador de Georgia.