Olsen prøvde seg nå på å drive nye virksomheter uten at det lyktes spesielt godt. Olsen kjøpte flere eiendommer som han tapte penger på. Han kjøpte seg også skip som ble utsatt for uhell. I 1858 startet han et glassverk i Namsos. Glasshytta blåste ned i en storm i januar i 1858. Etter hvert ble tapene så store at han gikk konkurs i 1867.