Som guttunge spilte Ammons på tromme og lærte seg siden å spille klaver. Han lærte klaverspillet sitt av brødrene Alonzo og Jimmy Yancey, samt Hersal Thomas, til han var cirka 17 år. I slutten av tyveårene opptrådte han litt som solopianist og litt som medlem av mindre orkestere. I 1928 bodde han i Chicago i samme hus som Meade Lewis og Pinetop Smith, som han spilte med under private sammenkomster.