Moren Ågot Gjems var selv forfatter og skuespiller, og av Lillemors fire eldre søsken ble Tordis sangerinne og Alfred skuespiller.