Olsen var gift med kvinnesakskvinnen, redaktøren og politikeren (DNA/NKP) Jeanette Olsen. De to arbeidet tett sammen i avisjobben. Både i og i hadde hun stillingen som forretningsfører da mannen var redaktør.