Karl Albert ble født i Kråkstad kommune (nå Nordre Follo kommune) på Vestre Midtsjø gård og var sønn av Anna Marie og Johannes Hansen Midtsjø. Han giftet seg med Anna Christine Paulson (1888-1959) den 15. september 1913 og sammen fikk de sønnen Marvin Gilbert Midtsjø (1915-1997).