På 1970-tallet ble han disponent i Arbeiderpressens Samvirke A/L og Norsk Arbeiderpresse A/S, og satt i en sentral posisjonen fram til 1986, da han ble arrestert, fengslet og anklaget for underslag. Saken endte med frifinnelse på alle sentrale punkter. Den smuldret hen til en bot for overtredelse av regnskapsloven. Men innen den tid hadde Olsen måttet utholde både fengsling og belastende presseomtale.