Witloch var født på en tidligere husmannsplass under gården Drolsum (3047-100/1 i dag) i Modum, og han ble døpt i Heggen kirke den 28. januar 1731. Foreldrene var og . Plassen Drolsumeie eksisterer ikke i dag, så det er usikkert akkurat hvor den lå. Da han ble konfirmert i 1750 hadde han gårdsarbeid på gården Haraldsrud (3047-86/1 i dag). Palmesøndag 16. mars 1788 var det begravelse etter Ole i Snarum kirke, som presten skrev inn som «Ungkarl Ole Knudsen Hvidtlok, gammel 57 Aar, Skjerper ved Blaafarve Verk og den første Opfinder deraf ungefære 1772 i November Maaned». To år etter sin død, i 1790, omtales Ole Witloch som «kongelig bergmester» av den danske historieprofessoren Frederik Sneedorff (1760–1792).