Olszowski war zwischen März und November 1980 kurzzeitig Botschafter in der DDR und nach seiner Rückkehr abermals Sekretär des ZK. Olszowski wurde zeitweise als neuer Erster Sekretär des ZK der PZPR und damit als Nachfolger Giereks gesehen. Allerdings sprach er sich nach den August-Streiks 1980 in Polen im Politbüro zusammen mit Tadeusz Grabski für einen härteren Kurs. Bei einer Gedenkfeier zum Aufstand vom Dezember 1970 in Polen empfing er im Dezember 1980 in Danzig zusammen mit dem Vorsitzenden der Gewerkschaft "Solidarność" Lech Wałęsa die Heilige Messe durch Franciszek Kardinal Macharski, den Erzbischof von Krakau. Als führender Vertreter der harten Linie in der PZPR wollte er schon seit Anfang Dezember 1980 einen Konfrontationskurs steuern und bewirkte zum Beispiel das Verbot einer öffentlichen Vorführung des Streikfilms "Arbeiter 80". Seine Reden war seitdem noch kompromissloser geworden, während der als kompromissbereit geltende neue Erste Sekretär des ZK der PZPR Stanisław Kania sogar in der heißen Frage arbeitsfreier Samstage Fehler der Partei einräumte. Olszowski war der Hauptverantwortliche für die Propaganda-Kampagne gegen weniger Arbeitszeit. Als Politbüromitglied übernahm er die Verantwortung für die Medien, was zu einer deutlichen Restriktion in der Berichterstattung führte. In der Folgezeit war er mit Grabski seit längerem offener Gegner der neuen Gewerkschaften und des gesellschaftspolitischen Arrangements.