Вратио се у Берлин 1946. године, радећи за норвешку владу. Године 1948. започео је политичку каријеру у Социјалдемократској партији Немачке (СПД) у Берлину. Постао је немачки држављанин, а свој дотадашњи псеудоним је озваничио. Залагао се ротив совјетске интервенције у мађарској револуцији 1956, и био је против предлога Хрушчева да Берлин постане "слободан град". Владало је мишљење да припада десном крилу своје партије, што се касније променило. Имао је пуну подршку моћног издавача Аксела Шпрингера. Од 3. октобра 1957. до 1966. био је градоначелник Западног Берлина, у стресном времену за град, када је изграђен Берлински зид.