I mai 1960 kom den israelske etterretningsorganisasjonen Mossad på sporet av Mengele i Buenos Aires. De unnlot imidlertid å pågripe han. Ifølge Rafi Eitan, tidligere agent i Mossad, var årsaken at de primært var kommet til Argentinas hovedstad for å pågripe Adolf Eichmann, en annen krigsforbryter fra andre verdenskrig. Ifølge Eitan fryktet de at Eichmann ville unnslippe dersom de forsøkte å pågripe begge samtidig, og ville pågripe Mengele senere. En nyere forklaring er at Mossad (etter tips fra Simon Wiesenthal) var på sporet av Mengele i Brasil i 1962, men Mossad-sjefen valgte å bruke knappe ressurser på utviklingen i Egypt. I Argentina skal han ikke ha forsøkt å skjule sin identitet. Mengele forlot Argentina og flyttet til Paraguay noen uker etter at Eichmann ble pågrepet. I 1960 flyttet han til São Paulo der han fikk bo hos Wolfram og Lisolette Bossert og en familie av ungarske innvandrere. De hjalp ham også ta i bruk en ny identitet som Wolfgang Gerhard.