Payne blei født i Richmond i Virginia som barn av to tidligere slaver som var av blandingsrase, med europeiske og afrikanske aner. Payne vokste opp i en meget religiøs metodistisk familie, og var en from kristen. Hans far, David M. Payne, var metodistprest og blei ordinert diakon av Virginiakonferansen i 1824. Da Payne var ti år gammel utvandra familien hans fra USA til Liberia om bord på skipet «Harriet», sponsa av American Colonization Society. Joseph Jenkins Roberts, som seinere blei Liberias første president, var på samme skip.