Born in Richmond, Massachusetts, Perry moved to Greenville, Alabama in 1853, after briefly attending Yale University.
В 1853 году, после кратковременного посещения Йельского университета, переехал в Гринвилл в штат Алабама.