Welles var gift tre ganger og biseksuell. Han måtte gå av i 1943 etter en affære med mannlige ansatte ombord i en togvogn tilhørende Pullman Company.