I Høyre fremstod John Lyng snart som C.J. Hambros arvtager og ble parlamentarisk leder fra 1958 til 1965. Han markerte seg som en meget dyktig parlamentariker med realpolitisk legning. På flere områder kom Lyng til å forestå en omforming av sitt partis politiske retningslinjer, og han utbygde gradvis tillitsforholdet mellom de borgerlige partiene. Da Einar Gerhardsens tredje regjering gikk av på grunn av Kings Bay-saken i 1963, var Lyng den naturlige statsministeren i den borgerlige koalisjonsregjering, John Lyngs regjering, som satt fra 28. august til 25. september 1963.