Han returnerte til Wien, men etter krav fra Napoléon om utlevering til Frankrike ble han av den østerrikske utenriksminister Klemens von Metternich bedt om å forlate byen. Han flyktet igjen til Storbritannia hvor han fornyet gamle vennskap og hadde et forhold til sosietetsdamen Emily Lamb, senere gift med lord Palmerston. Han oppholdt seg i London inntil 1812, da han igjen ble bedt om å gå i russisk tjeneste. Han fortsatte sitt arbeide mot Napoléon og besøkte blant annet Stockholm for å sikre støtte fra Sverige ved kronprins Karl Johan. Ved den sjette koalisjonens inntog i Paris ble han kommissærgeneral for den provisoriske regjeringen. Ved restaurasjonen i Frankrike ble Pozzo di Borgo russisk ambassadør til landet og han forsøkte blant annet å arrangere ekteskap mellom Karl Ferdinand, hertug av Berry og den russiske storgrevinnen Anna, tsar Aleksaders søster.