Primero, sería acusado de comunista, prestándose a declarar ante el comité de la famosa Caza de Brujas, en contra de algunos compañeros suyos como Dalton Trumbo, lo que les traería muy graves consecuencias; posteriormente el actor tuvo que vender parte de su inmensa colección de arte para sufragar los gastos del divorcio con Gladys Lloyd.