Han var sønn av Hans Backer (1858–1940) og Johanne Offenberg (1859–1954). Faren var sogneprest og av slekten Backer. Broren Andreas Backer (1895–1975) var generalsekretær i Den Norske Turistforening fra 1927 til 1956. Thomas ble gift i 1918 med Clara Martens (1895–1988).