Han var sønn av seilskuteskipper Ole Christian Olsen og Gunhild Christiane Olsen. Wilhelm giftet seg 18. november 1921 med Anna Holst, født Hval fra Ådål på Ringerike. Sammen fikk de tre barn. Han flyttet fra Norge i 1922, og bodde frem til sin død i Hamburg, London, Valencia, Paris og Marseille. Han bodde i Frankrike under hele annen verdenskrig.