Sammen med sin tredje hustru, fotografen Inge Morath, fikk han to barn, deriblant regissøren og manusforfatteren Rebecca Miller.