Yousuf Raza Gillani begynte sin politiske karriere på plattformen til Pakistan Muslim League under regimet til General Zia-ul-Haqs unntakstilstand i 1978. Han ble med i the Muslim League's Central Working Committee. Han var også et regjeringsmedlem i den 3 år varige regjeringen til Muhammad Khan Junejo. Han var «Minister of Housing and Works» fra april 1985 til januar 1986 og minister for jernbanen fra januar 1986 til desember 1986.