Tveitt giftet seg første gang 1936 med pianisten Ingebjørg Marie Gresvik (1908–2000). Ekteskapet, som var barnløst, ble oppløst i 1941. Han giftet seg andre gang i 1944 med Karen Margrethe («Tullemor») Berg-Olsen (1918–1997). Etter Tveitts død har hans enke og de to barna nedlagt mye arbeid i å samle og få fram igjen tapte verk.