In diesem Amt wirkte er an den Abrüstungsverhandlungen mit der Sowjetunion mit. In dieser Zeit wurde er auch zum General befördert. Anfang 1989 übernahm er unter Präsident George Bush das Kommando über die gesamten Landstreitkräfte der Vereinigten Staaten. Im August 1989 wurde er vom Präsidenten zum Vorsitzenden des Generalstabs (Joint Chiefs of Staff) berufen. Colin Powell war nicht nur der erste Afroamerikaner in dieser Position, sondern auch der erste CJCS, der das Reserve Officer Training Corps durchlaufen hatte. Im gleichen Jahr unterstützte er die US-Invasion in Panama und beteiligte sich 1990 an den Vorbereitungen zum Golfkrieg "(Desert Storm)". 1993 zog er sich ins Privatleben zurück.