I 1961 trådte han inn i rikspolitikken som partisekretær i Högern, en stilling han beholdt inntil 1965. Holmberg var også innvalgt i Riksdagen 1962–1972, og var Högerns gruppeleder i førstekammeret 1965–1968 såvel som partileder 1965–1970. I Holmbergs tid som partileder byttet Högern i 1969 navn til Moderata samlingspartiet, eller Moderaterna. Partiet fortsatte sin nedgang, og gjorde i 1970 sitt dårligste valg noensinne med 11,5 % av stemmene, og Holmberg tapte ledervervet i partiet til Gösta Bohman.