Han ble i 1921 utnevnt til visefolkekommissar for utenrikssaker under Georgij Tsjitsjerin. I 1929 sluttet han en sikkerhetstraktat, den såkalte Litvinovprotokollen, med Romania, Polen og de baltiske statene.