Toimiessaan vuosina 1872–1878 Kanadan kenraalikuvernöörinä Dufferin pyrki vahvistamaan tämän hiljattain luodun dominion yhtenäisyyttä sekä siteitä emämaahan. Sen jälkeen hän oli 1879–1881 suurlähettiläänä Pietarissa ja 1881–1884 Konstantinopolissa. Jälkimmäisenä kautena Britannia miehitti Ottomaanien valtapiiriin kuuluneen Egyptin. Tilannetta selvitellessään Dufferin vietti puoli vuotta (1882–1883) Kairossa Britannian erityisvaltuutettuna. Vuonna 1884 hänet nimitettiin varakuninkaaksi Intiaan, jossa hän pyrki lepyttelemään edeltäjänsä lordi Riponin uudistuksiin tyytymätöntä brittiväestöä. Hänen kaudellaan Burma valloitettiin ja yhdistettiin Brittiläiseen Intiaan vuonna 1886. Dufferin jätti Intian vuonna 1888, jolloin hän sai Dufferinin ja Avan markiisin arvon, Burman entisen pääkaupungin Avan mukaan.