Etter fru Hardings død flyttet Carrie Phillips tilbake til Tyskland. James Phillips viste tegn til tung alkoholisme, og han ble igjen i Marion, Ohio. Etter krakket i 1929 mistet Phillips kontrollen over sine eierandeler, og ble avhengig av sin ektefelles inntekt for å opprettholde livet. Phillips bukket deretter under av alkoholisme. Mot slutten av livet var han kjent for å vandre gatene i sentrum av Marion som en tigger. Han døde i Marion i 1939, kort tid etter at Carrie Phillips på nytt hadde vendt tilbake fra Europa. Under andre verdenskrig støttet fru Phillips Tyskland. Regjeringen i USA begynte å overvåke hennes aktiviteter, som omfattet møter med Henry Ford og Charles Lindbergh. Begge var kjent for sine pro-tyske holdninger.