1953년 12월 자유당 중앙위원회 의장이 되면서 이범석의 족청계(族靑系) 세력을 축출하였고, 1954년 6월부터 제3·4대 민의원 의장을 지냈고, 1955년부터는 국제올림픽위원회(IOC) 초대 의원에 피선되었다. 이러면서 그는 권력의 '제2인자'로 등극하였고, 1954년에는 이승만의 대통령 장기집권을 위해 사사오입 개헌을 강행하여 가결시키게 만들었다. 그러나 이는 그가 지시한 것 보다 그의 하수인들에 의해 시도되었다는 반론도 있다. 이 무렵 그의 집은 '서대문 경무대'라고 불릴 정도로 권력이 집중되고 있었다.