Whitaker begann mit neun Jahren zu boxen. 1982 erreichte der Rechtsausleger Whitaker bei den Weltmeisterschaften in München das Finale, verlor jedoch gegen den Kubaner Ángel Herrera nach Punkten (3:2). Bei den Panamerikanischen Spielen 1983 in Caracas setzte er sich jedoch im Finale gegen Herrera durch. Bei den Olympischen Spielen von Los Angeles 1984 gewann er nach Siegen über Adolfo Mendez, Nicaragua (5:0), Geoffrey Nyeko, Uganda (5:0), Reiner Gies, Deutschland (5:0), Chun Chil-sung, Südkorea (5:0), und im Finale über Luis Ortiz, Puerto Rico (AB 2.), die Goldmedaille im Leichtgewicht. Anschließend wurde er Profi. Seine überragende Bilanz als Amateurboxer waren 201 Siege (91 durch KO) in 214 Kämpfen.