Etter en oppvekst i Baltimore, der Colloway lærte av Chick Webb, ble han med i søsteren, den senere jazzbandleder Blanche Calloway på vaudevilleturne med oppsetningen «Plantation Days» til Chicago. Der studerte han juss og lærte scat-sang på Grand Terrace Ballroom av Louis Armstrong (1925), før turnevirksomhet med «The Alabamians» og «The Missourians» brakte ham til Harlem.