Martin Olsen giftet seg etter krigen med Stella Dybwad. Hennes storesøster var gift med Per Gram, en slektning av Gregers Gram. Sønnen Ola Dybwad Olsen hadde en karriere i Ski- og Fotballklubben Lyn og på det norske landslaget i fotball. Olsen tok eksamen ved Krigsskolen etter andre verdenskrig, og fra 1946 og fremover hadde han mange ledende stillinger innen privat næringsliv, blant annet i Shell-konsernet. I sine siste ti leveår gjorde han det skarpt som internasjonal finansmegler.