Sem-Jacobsen vokste opp i Kristiania. Etter examen artium 1896 og Krigsskolen ble han premierløytnant i Ingeniørvåpenet 1899 og tok militær høyskoleeksamen 1901. Han ble kaptein 1911 og major 1930.