Han var sønn av ingeniør Anton Marius Knudsen (1881-1959) og Mary Døscher (født i 1882). I 1939 giftet han seg med Alyce V. Siqveland (1912–1947). Han var senere gift med Anna Sophie Broch (1918–2000). De ble foreldre til billedkunstner Cecilie Broch Knudsen (født 1950).