Han var (sammen med Tony Jackson) en av de best ansette pianistene i distriktet Storyville tidlig i det 20. århundre. Ved fjortenårsalderen begynte han å jobbe som pianist i et bordell. Mens han jobbet der bodde han sammen med sin religiøse kirkegående oldemor og overbeviste henne om at han jobbet i en tønnefabrikk. En dag så hans oldemor ham ha på seg en veldig kostbar skreddersydd dress. Da hun fant ut hvordan han kunne ha råd til den ble han kastet ut av huset hennes. Tony Jackson hadde stor innflytelse på musikken hans; ifølge Morton var Jackson den eneste pianisten som var bedre enn ham; han var også en pianist ved bordeller, i tillegg var han en dyktig gitarist.