They had three children, Betty, Frank and Joseph (Joe).
Leta 1937 je Gorman v bližini Ottawe prevzel vodenje konjskega dirkališča Connaught Park Racetrack, katerega solastnik je bil sicer že od leta 1925.