Familien Stevenson flyttet til Bloomington i Illinois i 1852 etter at familiens tobakksplanter hadde frosset i hjel. Da frigav faren John familiens få slaver. I Bloomington drev faren et sagbruk.