Poliittisen uransa Barroso aloitti jo ennen neilikkavallankumousta 1974. Hän oli nuoruudessaan ja opiskeluaikoinaan aktiivinen maolainen kommunisti. Vuonna 1980 Barroso liittyi keskustalais-oikeistolaiseen Portugalin sosiaalidemokraattiseen puolueeseen (PSD). Vuonna 1985 Barroso pääsi pääministeri Aníbal Cavaco Silvan hallitukseen varasisäministeriksi ja vuonna 1987 kehitysyhteistyöministeriksi seuraavaksi viideksi vuodeksi. Vuonna 1991 hän oli neuvottelemassa tulitaukoa Angolan sisällissodassa ja tuki vuosina 1992–1995 Portugalin entisen siirtomaan Itä-Timorin itsenäisyyttä. Vuonna 1992 hänet valittiin ulkoministeriksi, missä tehtävässä toimi sosiaalidemokraattisen puolueen vaalitappioon vuonna 1995 asti.