Se casó con la pintora Gisèle Celan-Lestrange, nacida en el seno de una vieja familia aristocrática, conservadora y muy religiosa, de la que tuvo dos hijos (el primero fallecido a los pocos años) y que padeció severamente las infidelidades de su esposo con la poeta Ingeborg Bachmann.