Han brukte resten av livet sitt på å betale det han skylte kreditorene. Ole G. Olsen ble også beskyldt for uhederligheter. Han gikk rettens veg for å bli renvasket. Rettssakene pågikk i tre år. I 1869 ble han frikjent i overretten. Da han ble frikjent heiste folk i Namsos flaggene sine. Olsen var også en tid bestyrer på Bangdalsbruket og ved en større bedrift i Kristiania. I en periode eide Olsen Haviggården på Bjørum. Han satte opp den store hovedbygningen på gården. Ole Gunnerius Olsen døde i 1881.