Zehrfuss stammte aus einer Familie, die 1870 aus dem im Deutsch-Französischen Krieg umkämpften Elsass nach Frankreich flüchtete. Sein Vater fiel 1914 im Ersten Weltkrieg während der Schlacht an der Marne. Seine Tochter Dominique Zehrfuss (* 1951) heiratete 1970 den Schriftsteller Patrick Modiano, sie arbeitet als Buchillustratorin.