ความขัดแย้งกับกลุ่มการเมืองอื่นทวีความรุนแรงขึ้น หลังกรณีสวรรคตของสมเด็จพระเจ้าอยู่หัวอานันทมหิดล เขาถูกใส่ร้ายจากกลุ่มการเมืองฝ่ายตรงข้ามว่าเป็นผู้บงการ ทำให้เขาลาออกจากตำแหน่งนายกรัฐมนตรีสองครั้ง ต่อมาเกิดรัฐประหารปี 2490 เป็นเหตุให้เขาต้องลี้ภัยการเมืองนอกประเทศ ปี 2492 เขากับพันธมิตรทางการเมืองพยายามรัฐประหารรัฐบาลในขณะนั้นแต่ล้มเหลว ทำให้เขาและพันธมิตรหมดอำนาจทางการเมืองโดยสิ้นเชิง จากนั้นเขาลี้ภัยการเมืองในประเทศจีนและฝรั่งเศสโดยไม่ได้กลับสู่ประเทศไทยอีก เขายังแสดงความเห็นทางการเมืองในประเทศไทยและโลกอยู่เรื่อย ๆ จนถึงแก่อสัญกรรมในปี 2526 ณ กรุงปารีส ประเทศฝรั่งเศส มีการนำอัฐิเขากลับประเทศในปี 2529 และพระบาทสมเด็จพระปรมินทรมหาภูมิพลอดุลยเดช บรมนาถบพิตร พระราชทานผ้าไตรในพิธีทักษิณานุประทาน