Dette var under Idi Amins regjeringstid i Uganda, og erkebiskop Lemaître skulle i tillegg oppleve Uganda-Tanzania-krigen, som forårsaket konstellasjoner som førte at han ble kastet ut også fra dette landet. Han trakk seg den 16. november 1981. Opplevelsene under Idi Amin hadde også tæret på hans krefter, som allerede var preget av tiden i Vietnam. Idi Amin var på den tiden blitt opptatt av å fremme islam og sikre seg støtte fra Muammar Gaddafi, og etter utvisningen av inderne lot han muslimske grupper overta mange av deres religiøse bygninger. Han fikk i 1977 også myrdet den anglikanske erkebiskopen i landet, Janani Luwum, som hadde fordømt meget av hva Amin foretok seg, og de mange drap og uoppklarte forsvinninger. Det kan til og med vært Idi Amin som avfyrte det drepende skudd. Det kan ha vært nær ved generelle undertrykkelser av landets kristne.