Livet i kolonien var farlig og mange døde under sulteperioden i 1609 og i kriger mellom engelskmenn og powhatan-indianere, inkludert massakren utført av indianere i 1622 som skapte en negativt bilde av alle indianerstammer hos kolonistene. I 1624 var bare 3 400 av de 6 000 opprinnelig tidlige bosetterne i live. Men europeisk etterspørsel etter tobakk førte til at det kom nye bosettere og tjenere til disse. Det såkalte headright-systemet prøvde å løse bristen på arbeidskraft gjennom å gi kolonister land for hver kontraktstjener de bragte til Virginia. Afrikanske arbeidere ble for første gang importert i 1619 og slaveriordningen juridisk anerkjent i 1654 etter en søksmål av afrikaneren John Casor som mente han var kommet som kontraktstjener og hadde krav på å bli fri etter ferdigtjent periode.