Kaufmanns Mutter Margarete wurde 1910 im badischen Gernsbach geboren. Ihr Vater Joseph Brünner war Oberregierungsrat und Chef des Vermessungsamtes in Karlsruhe. Der Großonkel von Carl Kaufmann, Egon Eiermann, zählte zu den bedeutendsten Architekten in Deutschland nach dem Zweiten Weltkrieg, der unter anderem den Wiederaufbau der Kaiser-Wilhelm-Gedächtniskirche geplant und den deutschen Pavillon bei der Weltausstellung in Brüssel 1958 entworfen hatte.