I perioden 1981-84 var han regjerende borgermester (, regjeringssjef) i Vest-Berlin. I sin embetstid arbeidet for å holde liv i ideen om nasjonen Tyskland delt i to stater. I tale og tekst oppfordret han tyskere til å se forbundsrepublikken som solid forankret i den vestlige alliansen, men med spesielle forpliktelser og interesser i Øst-Europa. Weizsäcker irriterte USA, Frankrike og Storbritannia (som fortsatt var okkupasjonsmakter i Vest-Berlin) ved å besøke Erich Honecker i Øst-Berlin. Han anla en imøtekommende og ettergivende linje overfor DDR. Hans sterkeste motstandere på 1980-tallet var høyresiden i CDU som ikke ville gi opp kravet på de tapte øst-områdene.