Hermano menor del también director Marc Allégret, estuvo casado con la actriz Simone Signoret entre 1944 y 1949, con quien tuvo una hija, Catherine Allégret, quien también es actriz.