Wolcott se narodil ve Windsoru v Connecticutu, jako nejmladší ze 14 dětí narozených koloniálnímu guvernérovi Rogerovi Wolcottovi a Sarah Drake Wolcottové. Studoval univerzitu Yale, promoval v roce 1747 jako nejlepší student v ročníku. Po dokončení studia guvernér státu New Yorku George Clinton udělil Wolcottovi kapitánskou hodnost, aby vytvořil vojsko milicí pro boj ve francouzsko-indiánské válce. Kapitán Wolcott sloužil na kanadské hranici a bránil ji proti Francii až do smlouvy z Aix-la-Chapelle (Treaty of Aix-la-Chapelle). Na konci války se přestěhoval do nově osídleného Goshenu v severozápadním Connecticutu, kde praktikoval a studoval medicínu u svého bratra Alexandra. Poté se přestěhoval do Litchfieldu a stal se obchodníkem. V roce 1751 byl jmenován šerifem nově vytvořeného kraje Litchfield County v Connecticutu. Ve funkci byl do roku 1771. Dne 21. ledna 1755 se oženil s Lorraine (Laura) Collins Guilford. Měli čtyři děti: Olivera (který zemřel mladý), Olivera Jr., Lauru, Marianna a Fredericka.