У јесен, пошто су Немци окупирали Пољску и многе научнике и уметнике одвели у логоре, Андрић интервенише код немачких власти да се заробљеништва спасу многи од њих. Због неслагања са политиком владе у рано пролеће 1941. године Андрић надлежнима у Београду подноси оставку на место амбасадора, али његов предлог није прихваћен и 25. марта у Бечу, као званични представник Југославије присуствује потписивању Тројног пакта. Дан после бомбардовања Београда, 7. априла, Андрић са особљем напушта Берлин. Наредна два месеца су провели на Боденском језеру. Одбио је да се склони у Швајцарску, и са особљем и члановима њихових породица, 1. јуна 1941. је специјалним возом допутовао у Београд, чиме се завршила његова дипломатска каријера. Новембра 1941. је пензионисан на сопствени захтев, мада је одбио да прима пензију.