Kaare Petersen var bror av samfunnsøkonomen Erling Petersen (1906–1992). I 1940 ble han gift med Elsa Irene Petersen (født 1914). Han var far til politikeren Jan Petersen (født 1946).