Han vokste opp i et forretningsmiljø som sønn av bokholder Cristopher Michael Olsen og hustru Elsebeth Christine Evensen. Morens brødre var kjøpmann Joen Peter Evensen og prost Jens Christian Evensen. Han giftet seg i 1893 med Petra Müller, datter av kjøpmann, sysselmann, folketings- og landstingsmann Hans Christopher Müller og hustru Maren Sørensdatter Olsen. Petras bror, kjøpmann Søren Müller, var gift med Jens Olsens søster, Margrethe.