En 1963, murió la tía de Joseph, Alicia Patterson, y los Albright regresaron a Long Island con la idea de que Joseph se hiciera cargo del negocio de los periódicos familiares.