Nathaniel Williams, som sammen med broren Samuel var blant de første hvite engelsktalende nybyggere her, kjøpte området i 1838. Så etablerte de en rekke plantasjer, og dyrket blant annet bomull, mais og sukkerrør. I 1853 kjøpte Benjamin Terry og William J. Kyle plantasjenme og kalte bosettingen der for Sugar Land.