Vuosina 1979-1981 Powell toimi presidentti Jimmy Carterin hallinnossa energiaministerin avustajana ja apulaispuolustusministerin vanhempana sotilasneuvonantajana. Tämän jälkeen hän toimi presidentti Ronald Reaganin hallinnossa puolustusministeriön alaisuudessa sotilasneuvonantajana ja vuosina 1983-1986 puolustusministeri Caspar Weinbergerin vanhempana sotilasneuvonantajana. Tänä aikana hän oli vuonna 1983 toteuttamassa Grenadan miehitystä ja vuonna 1986 Yhdysvaltain ilmaiskuja Libyaan.