Contrajo nupcias en 1949 con la actriz Loleh Bellon (de este matrimonio nació Jaime Semprún en 1947, también escritor, fallecido en agosto de 2010) y en segundas nupcias en 1958 con Colette Leloup.