בשנת 1941, לאחר פלישת הנאצים לברית המועצות, חזר לשירות. מונה לתפקיד סגן שר החוץ ובמקביל (עד שנת 1943) היה גם שגריר ברית המועצות בארצות הברית. בשנת 1946 פרש ליטבינוב סופית מהשירות במשרד החוץ.