Olsen ble født den 1. september 1922 i Stavanger, Norge. Han vokste opp i en tid preget av politisk uro og økonomisk vanskeligheter som fulgte med mellomkrigstiden. Familien bodde i Opheimsgata 28 i Stavanger. I begynnelsen av krigen opplevde Olsens familie å miste sitt hjem da det ble totalskadet under et britisk flyangrep på Storhaug skole den 11. april 1940.