Po šesti letech od své rehabilitace byl v dubnu 1968 Josef Smrkovský zvolen předsedou Národního shromáždění ČSSR, což byla zároveň jeho nejvyšší dosažená pozice. Jakožto důsledný zastánce reforem se stal jedním ze čtyř hlavních iniciátorů a propagátorů pražského jara společně s Ludvíkem Svobodou, Alexandrem Dubčekem a Oldřichem Černíkem. Mimo jiné se vyhradil vůči antisemitistiským prohlášením Josefa Jodase a dalších zasloužilých členů strany, které byly namířené proti Otovi Šikovi a dalším reformátorům komunistické strany. Když začala svobodomyslná nálada vzniklá po sesazení prezidenta Antonína Novotného narůstat na síle, panovaly snahy o navrácení kontroly jak mezi konzervativními straníky, mezi které patřil například Vasil Biľak, tak v reformátorském křídle, které propagovalo takzvaný socialismus s lidskou tváří, který omezil cenzuru a obecně uvolnil osobní svobodu občanů Československé republiky. Zatímco reformátoři byli rozpolceni mezi domácí popularitou a rostoucím tlakem z východu, požádala druhá skupina o pomoc Leonida Brežněva. Až hrozba invaze rozpoutala konflikt mezi progresivní a konzervativní částí strany. Reformní křídlo však nebylo po chuti sovětské vládě, a den po začátku invaze vojsk Varšavské smlouvy byl Smrkovský spolu s Dubčekem a dalšími reformátory eskortován do Sovětského svazu, kde byl místo vyjednávání a vysvětlení situace v ČSSR donucen podepsat Moskevský protokol. Společně s ním jej podepsali všichni účastníci vyjednávání kromě Františka Kriegla, který byl v té době jedním z členů předsednictva ÚV KSČ. Po návratu do Prahy se neúspěšně pokusil o zamezení tomu, aby stalinistické křídlo KSČ převzalo vládu. Po nástupu Gustáva Husáka na post prvního tajemníka ÚV KSČ začal Smrkovský ztrácet vliv a nakonec byl v březnu roku 1970 vyloučen z KSČ.