Jego babką była Berta Zuckerkandl-Szeps, szwagierka Georges'a Clemenceau, austriacka pisarka, w której wiedeńskim salonie bywało wielu wybitnych przedstawicieli świata sztuki i polityki. Do albumu wnuka pisarki wpisali się m.in. Peter Altenberg, Alfred Polgar, Arthur Schnitzler, Stefan Zweig, Felix Salten, Rainer Maria Rilke, Jean Anouilh, André Gide, Romain Rolland. Dziadek – Emil Zuckerkandl – był znanym anatomem (pierwszy opisał ciałka przyzwojowe aorty – narząd Zuckerkandla). Po wcieleniu Austrii do III Rzeszy rodzina była zmuszona do ucieczki. Emile Zuckerkandl z matką i babką znalazł się we Francji, dokąd już wcześniej wyjechał jego ojciec (z Francją łączyły rodzinę więzi małżeńskie). Po upadku Francji wszyscy przedostali się do Algierii; przebywali tam do końca wojny (1940–1945).