Po Mnichovské dohodě a okupaci zbytků Československa bylo jasné, že západní mocnosti nestojí o spolupráci se Sovětským svazem. Navíc německá media se vysmívala Litvinovovu židovskému původu. Kurz sovětské zahraniční politiky potřeboval změnu a tou změnou byl Vjačeslav Molotov, který přebral Litvinovův post 3. května 1939. Tuto noc byl komisariát zahraničních věcí obklíčen jednotkami NKVD, telefon na Litvinovovu daču byl odpojen a Litvinov sám byl spraven o svém propuštění následujícího rána Georgijem Malenkovem a Lavrentijem Berijou. Následně bylo mnoho bývalých Litvinovových spolupracovníků zatčeno a vyslýcháno. Ihned po výměně nařídil Josif Stalin Molotovovi vyčistit komisariát od Židů. Propuštěním Litvinova, jakožto zastánce kolektivní bezpečnosti se Západem, bylo umožněno bližší partnerství s nacistickým Německem. Do politiky se Litvinov vrátil až po napadení SSSR Německem, kdy zastával funkci zástupce komisaře zahraničních věcí. V letech 1941–1943 pak působil jako velvyslanec v USA a výrazně se podílel na dohodě o zákonu o půjčce a pronájmu. Současně působil mezi lety 1942–1943 jako vyslanec na Kubě. Po svých sedmdesátinách odešel v roce 1946 do výslužby, zemřel 31. prosince 1951 v moskevské nemocnici na následky třetího srdečního infarktu.