Ole Nilsen var født på Sagene i Austre Moland, i dag en del av Arendal kommune. Han arbeidet som tømrer og snekker, og sto for en rekke byggeoppdrag på distriktets kirker midt på 1700-tallet, blant annet Austre Moland kirke og Tromøy kirke.