Ved siden av å drive gård var Ole N. Fossum underoffiser, og han tok sersjanteksamen og sto i militær tjeneste fras 1856 til 1866. Dessuten engasjerte han seg sterkt i skyttersaken og tanken om å danne «Folkebevæpningssamlag»" Han var en av lederne i Ekers skytterlag da dette i 1882 brøt ut av Centralforeningen for Udbredelse af Legemsøvelser og Vaabenbrug og startet det radikale Buskerud Amts Folkebevæpningssamlag - en organisasjon som erklærte at den var villig til å gripe til våpen for å forsvare stortinget og folkesuvereniteten mot svenskekongen og hans embetsmenn.