I 1930 giftet Douglas seg med Irma Dempsey, en musikkstudent ved Brandon College. De hadde en datter, skuespilleren Shirley Douglas, som senere giftet seg med skuespiller Donald Sutherland. Senere adopterte de datteren Joan, som utdannet seg til sykepleier. Douglas' barnebarn er den kjente skuespilleren Kiefer Sutherland fra TV-serien 24.