Woolf ble født i 1766 i Camborne i Cornwall, England og døpt i den 4. november samme år. Han var den eldste sønnen av Arthur Woolf og Jane Newton. Hans far var snekker med spesialisering på møller og arbeidet ved Dolcoath gruver. Woolf hadde sitt første arbeid som snekker, og ble lærling hos en snekker i Pool i nærheten av Camborne. Etter at læretiden var over dro han til London i 1785.