Rakowski arbeitete während der deutschen Besatzung in Posen in einem Instandsetzungwerk der Eisenbahn. Nach Kriegsende studierte er in Warschau Geschichte und promovierte 1956. Gleichzeitig war er von 1945 bis 1949 Offizier der Polnischen Volksarmee und seit 1946 Mitglied der kommunistischen Partei PPR (ab 1948 PZPR). 1957 wurde er zum stellvertretenden Chefredakteur der neu gegründeten Wochenzeitung "Polityka" ernannt, ein Jahr später zum Chefredakteur (bis 1982). Er galt als Vertreter des Reformflügels der Partei, den neostalinistischen und nationalkommunistischen Gruppierungen innerhalb der PZPR gleichermaßen verhasst. Rakowski bekleidete auch Führungsämter im Polnischen Journalistenverband. Seine eigentliche Parteikarriere begann unter Parteichef Edward Gierek, als er 1972 Abgeordneter im Sejm und 1975 Mitglied des ZK wurde. Unter Wojciech Jaruzelski stieg er 1981 zum stellvertretenden Ministerpräsidenten auf. Er rechtfertigte das Kriegsrecht und wurde einer der profiliertesten Gegner der demokratischen Opposition um die Gewerkschaft Solidarität. 1985 übernahm er das Amt des stellvertretenden Parlamentspräsidenten, bis er im September 1988 an die Spitze der Regierung trat. Als Ministerpräsident leitete er Wirtschaftsreformen ein, einige Betriebe wurden privatisiert.