Admiral Qvistgaard var gift med Anna Rose f. Laage-Petersen (1900-1998), med hvem han fik døtrene Birte (1927-2014) og Lise (f. 1933), og sønnen Niels Iver Qvistgaard (1925-1952), der 26. oktober 1952 faldt som amerikansk marineinfanterist under FN-flag i Koreakrigen, et tab Qvistgaard næppe nogenside kom over.