I 1889, året etter at han var blitt valgt til ordfører, solgte Ole Nilsen gården Fossum og begynte som «vagtmester» - det vil si fangevokter - ved Haugsund Distriktsfengsel. I tillegg hadde han stillingene som fattigforstander, forlikskommisær og revisor ved overformynderiet, og ved siden av drev han litt jord. I 1892 ble han valgt inn på Stortinget, der han var 4. representant fra Buskerud amt og medlem av lagtinget, samt av justiskomiteen 1892-93 og av sosialkomiteen i 1894. Han markerte seg også ved å støtte radikale standpunkt som allmenn stemmerett og rent norsk flagg.