De su matrimonio con Harriet Foster, que duró desde 1941 hasta 1965, tuvo cuatro hijos, que de dedicaron al negocio cinematográfico: Adell, William, Alida, y Kelly Aldrich.