Han kom raskt til å tilhøre den indre krets om den regjerende borgermester Willy Brandt. I 1961 ble han innenrikssenator og i 1963 viseborgermester og senator for politi, sikkerhet og orden i Vest-Berlin. I 1966 ble han valgt til borgermester. Han måtte gå av i 1967 som følge av studenturolighetene i forbindelse med sjahen av Irans besøk i byen 2. juni 1967, da en av de protesterende, den 28-årige Benno Ohnesorg, ble drept av politiet.