Martin Siem var sønn av kommandørkaptein Ole Siem (født 1882) og Marie Augusta Ursin Holm (1888–1961). Han ble i 1939 gift med Inger Aagaard (født 1916). Hans søster Nøste var gift med Thore Albert Boye. Han var far til forretningsmennene Kristian Siem og Ole Martin Siem.