Aunque sus padres y profesores de canto no aprobaban el jazz, Calloway comenzó a frecuentar y finalmente a interpretar en varios clubes de jazz en Baltimore, donde sus mentores fueron el baterista Chick Webb y el pianista Johnny Jones.