Hun var eldste datter av Alfred Selmer (1851–1919) og Ågot Gjems Selmer (1858–1926). Faren var distriktslege, og moren var skuespiller og forfatter. Tordis' bror var skuespilleren Alfred Gjems Selmer (1893–1919). Hennes yngre søster Bergljot (kalt Lillemor) ble også skuespiller og senere forfatter kjent under navnet Lillemor von Hanno (1900–84).