Barbour era alcohólico y tenía problemas domésticos con Lee; esto finalmente rompió el matrimonio, y se divorciaron en 1951.