Manning nació cerca de Raleigh, en Carolina del Norte, aunque en 1841 sus padres se mudaron a Misisipi.