Olsson var gift med forfatteren Margareta Sjögren-Olsson. De skrev flere bøker sammen, fremst reiseskildringer fra USA, England og Irland. Paret fikk døtrene Elizabeth og Vibeke, den sistnevnte ble også forfatter.