Né dans une famille pauvre, il travaille comme ouvrier à partir de 1937 dans l'entreprise de chaussures Bata et adhère au Parti communiste en 1950, où il est recruté comme permanent. Il part étudier à Moscou entre 1955 et 1958, comme nombre de futurs dirigeants des pays socialistes. Après l'invasion soviétique de 1968, il se rallie à la faction la plus dure du PC et devient un artisan zélé de la « normalisation ». Élu président de la commission de contrôle et membre du bureau politique, il devient l'arbitre entre différentes factions et remplace Gustáv Husák comme Secrétaire général du PC en décembre 1987. Il se montre alors -officiellement- un partisan de la "perestroïka" soviétique, mais reste hostile à tout dialogue avec les opposants au régime : sous son mandat, le futur président Václav Havel sera emprisonné et les églises chrétiennes, notamment l'Église catholique, feront l'objet de persécutions continues. Ayant reçu une instruction assez élémentaire, il devient célèbre pour ses gaffes et ses confusions entre le mots : des humoristes tchèques le surnommaient « "jakeshita, parce que, comme un ordinateur il a fonctions, mais, celui-là, n'a aucune mémoire" ».