В 1970—1980-х годах работал в министерстве обороны, и, продвигаясь по ступеням военной иерархии, к 1983 стал помощником министра обороны Каспара Уайнбергера. В 1986 был назначен заместителем директора Совета национальной безопасности, а в ноябре 1987 президент Рональд Рейган назначил его на пост советника по национальной безопасности. После окончания президентского срока Рейгана, Пауэлл вернулся в армию и служил командующим округа в Джорджии, однако уже в августе 1989 президент Джордж Буш выдвинул его на пост председателя Объединённого комитета начальников штабов, и он стал первым темнокожим на этой должности. При Пауэлле была успешно проведена военная агрессия в Панаме, а также прошла война в Персидском заливе 1991 (операция «Буря в пустыне»).