Olsen var sønn av maskinsjef Martin Olsen og Olga Ekeland. Han vokste opp på Tangen i Drammen. Etter Latinskolen i Drammen begynte han som praktikant ved Drammen Jernstøberi og Mek. Verksted for å bli ingeniør i mekanikk. Etter Tysklands overfall på Norge ble han valgt ut til å ta militær utdannelse i England, der Martin Olsen ble opptatt i Kompani Linge 2. mai 1941.