Az 1854-es keleti bonyodalmak miatt hazahívták, 1855 októberében Frankfurtba nevezték ki követnek. Az oroszországi uralkodóváltozás folytán nagyobb diplomáciai feladatok vártak Brunnovra. Orlov gróffal együtt az 1856-os párizsi békekongresszuson képviselte Oroszországot. 1857-ben Berlinbe ment követnek, de már 1858 márciusában ugyanoly minőségben Londonban volt és 1860. december 19-én nagyköveti méltóságra emelkedett. De a régi jó viszonyt Anglia és Oroszország között többé nem sikerült helyreállítania, különösen nehéz helyzete volt 1863-ban a lengyel ügyek tárgyalásánál. Több rokonszenvre talált az angoloknál azokon a konferenciákon, amelyek 1864-ben a schleswig-holsteini válság ügyében folytak, és ahol nagy odaadással, de eredménytelenül védte a dánok ügyét. 1867-ben a luxemburgi kérdés londoni kongresszusában is részt vett. 1870-ben Párizsba ment nagykövetnek, de 1871 februárjában újra Londonba küldték. Ugyanebben az évben grófi rangot kapott. 1874-ben idős kora miatt állásáról lemondott és visszavonult.