Karakhan var sendebud i Polen 1921–1922 og i Kina 1924–1926, der han med stor smidighet visste å gjøre seg gjeldende i østasiatisk politikk. I 1926 blev Karakhan vikarierende utenrikskommissær for Georgij Tsjitsjerin. Han var senere Maksim Litvinovs nærmeste mann.