Koncom roku 1946 sa vrátil do Berlína, kde pracoval pre Nórsku vládu. V 1948 vstúpil do Sociálnodemokratickej strany Nemecka (SPD). Znovu sa stal nemeckým občanom a prijal svoj pseudonym Willy Brandt za svoje oficiálne meno. Vystupoval proti sovietskej politike vo vzťahu k Maďarskej revolúcii (1956), ako aj voči plánu Nikitu Chruščova urobiť z Berlína tzv. „slobodnú zónu“. Preto bol zaraďovaný vo svojej strane skôr k pravicovému krídlu. Toto zaradenie sa však skoro zmenilo. Willy Brandt bol silno podporovaný novinárom Axelom Springerom. Od 3. októbra 1957 do roku 1966 bol starostom Západného Berlína. Bol starostom práve v najťažších časoch stavby Berlínskeho múru.