Fjorten år gammel vant han en amatørkonkurranse i CBC og han sluttet da på high school for bruke all sin tid på piano. Han fikk snart tilnavnet «Brown Bomber of the Boogie-Woogie» - en allusjon til bokseren Joe Louis som hadde tilnavnet «Brown Bomber» og til Petersons egen ruvende skikkelse (190 cm og over 100 kg). Han var eneste svarte medlem av Johnny Holmes Orchestra og oppdaget da at i enkelte deler av USA fikk han ikke bo på samme hotell eller spise på samme restaurant som resten av bandet.