Men etter tre år hadde han likevel løpt linen ut. Keiserens rådgivere hadde klart å stemme keiseren imot ham; de hvisket om kristen undergraving. Det hjalp heller ikke at keiserens konkubiner mobiliserte mot ham – den kristne avvisning av polygami utgjorde en trussel mot deres fremtid. De Rhodes ble forvist fra nord. Han dro da sørover, bare for å oppdage at det rivaliserende Nguyen-dynastiet der var like så avvisende. De neste ti årene (1630–1640) underviste pater de Rhodes i Macao, og begav seg så på nytt til Cochinkina, med fare for sitt liv, der han ble misjonssuperior i 1640. Siste gang han var i landet, gikk det ikke bedre enn at han ble dødsdømt. Etter tre uker i fengsel ble han i stedet utvist fra landet (1645) og sendt tilbake til Macao. Av de ni prestene som hadde ledsaget ham, ble to halshog, og hver av de syv andre fikk en finger kuttet av.