Kezdetben az élet nem volt egyszerű: sokan éhen haltak az 1609-es nagy éhínség során, mások az angol-póheten háborúban vesztették életüket. Az 1622-es indián mészárlás volt az, amely megváltoztatta az addigi békés, de legalábbis semleges attitűdöt az indiánokkal szemben. Addigra a kezdeti hatezer telepesből alig 3400 maradt életben. Mivel Európában megnőtt a kereslet a dohány iránt, ez felgyorsította az újabb telepesek és a rabszolgák érkezését. Kezdetben az önkéntes rabszolgaság volt az általános, amikor az Újvilágba érkezés költségeit mintegy ledolgozhatta az illető, és ha kitelt az ideje, szabad lehetett. 1619-ben így indult meg az afroamerikaiak beáramlása is, azonban a gyakorlat megváltozott, amikor egy John Punch nevű illetőt szökési kísérlet miatt örökös rabszolgaságra ítéltek. Virginiában először 1661-ben és 1662-ben hoztak törvényt az örökös rabszolgaságról, az anya társadalmi státuszától függően továbbörökíthetően.