Han var gift med Maren Tollefsdatter, som han fikk tilsammen sju sønner og én datter med. Nilsen var født på gården Echen i Sigdal prestegjeld. Han vokste opp i Skoger og flyttet senere til Drammen. Ole Nilsen var maler og arbeidet seg opp til malermester.