Natsien valtaannousun yhteydessä Reuter pidätettiin ja hän lähti vuonna 1935 maanpakoon, aluksi Englantiin. Toisen maailmansodan aikana hän asui Turkissa ja toimi Ankaran yliopistossa julkisen hallinnon professorina. Sodan jälkeen Reuter palasi vuonna 1946 Berliiniin ja osallistui SPD:n uudelleenperustamiseen. Hänet valittiin vuonna 1947 koko Berliinin pormestariksi, mutta Neuvostoliitto ei hyväksynyt valintaa eikä Reuter astunut virkaan. Kun kaupunki jakautui seuraavana vuonna täydellisesti kahtia, hän ryhtyi kuitenkin toimimaan pormestarina Länsi-Berliinissä. Reuter toimi länsiberliiniläisten henkisenä johtajana Berliinin saarron aikana ja saavutti laajan arvovallan myös kaupungin ulkopuolella. Hän piti 9. syyskuuta 1948 valtiopäivätalon edustalla 300 000 ihmisen yleisön edessä kuuluisan puheen, jossa hän pyysi ulkomaailman apua Länsi-Berliinille sanoen ”"Maailman kansat! Katsokaa tätä kaupunkia!"”