Thomas Rolfe ble født på Smiths plantasje i Jamestown i Virginia. Han vokste opp i England, og ble 13. september 1632 gift med Elizabeth Washington i St James's church i London. Datteren Anne ble født i 1633, men Elizabeth døde kort etter datterens fødsel.