Estaba casado desde 1957 con la escritora Catherine Robbe-Grillet, también conocida bajo el seudónimo de Jeanne de Berg.