I et forsøk på å megle mellom Cuba og USA, hadde han møter med Che Guevara og Fidel Castro. Dette medførte han mistet den allerede svake støtten han hadde fra militæret. Peronistene fryktet et kommunistisk kupp, og stilte seg på militærets side. 28. mars 1962 ble han avsatt etter et militærkupp.