Gunnar Reiss-Andersen var gift første gang 1921 med Elisabeth «Lizzie» Waage (1898–1962). De ble skilt men var foreldre til journalisten Gry Waage. Reiss-Andersen ble gift i 1925 med Tordis Anker Castberg (1899–1967), datter av fiolinist Torgrim Castberg. Deres sønn Helge Reiss-Andersen (1926-2019) var far til høyesterettsadvokat Berit Reiss-Andersen. Gunnar Reiss-Andersen var dessuten far til journalisten Dag Halvorsen etter et forhold med Ida Halvorsen (1907-1984).