Krestinskij støttet Trotskij-fraksjonen i partiet, og i 1921 mistet han derfor plassen i partiledelsen. Han ble deretter sendt til Tyskland som ambassadør. Denne stillingen var både viktig og følsom, på grunn av Sovjetrusslands viktige og delikate forhold til Tyskland den gang, men den var på langt nær så viktig som de verv han tidligere hadde innehatt. Han var 1922-1930 ambassadør i Berlin og deretter vise folkekommissær for utenrikssaker. Krestinskij arbeidet som diplomat frem til 1937.