Han gjorde karriere i kommunistpartiet etter krigen, og ble utnevnt til førstesekretær (generalsekretær) i 1951, men trakk seg fra stillingen. Da Rudolf Slánský ble presset ut av denne stillingen to år senere, etterfulgte Novotný ham, og ble i realiteten øverste politiske leder i Tsjekkoslovakia da president Klement Gottwald døde samme år. Han ble gjenvalgt i 1958 og 1964, og fra 1957 var han i tillegg president i landet etter at president Antonín Zápotocký døde dette året.