Fra 1951 til 1955 og fra 1955 til 1959 var Willoch medlem av Oslo bystyre. Ved stortingsvalget i 1953 ble han vararepresentant til Stortinget for Oslo. Han møtte på Stortinget første gang i januar 1955, 26 år gammel, og ble derved den til da yngste representant i nasjonalforsamlingen siden riksforsamlingen på Eidsvoll. Ved stortingsvalget 1957 ble han 28 år gammel valgt inn på fast plass til Stortinget, der han satt sammenhengende til 1989.