I 1939 ble han avskjediget på grunn av sin jødiske byrd og antityske holdning da Stalin etterstrebet en overenskomst med Hitler (senere samme år fulgte Molotov-Ribbentrop-pakten). i årene 1941-1943 var han ambassadør i Washington og 1943-1946 atter en gang visefolkekommissar for utenrikssaker.