Cab Calloway nació bajo el nombre Cabell Calloway III en una familia de clase media en Rochester, Nueva York, y fue criado principalmente en Baltimore, Maryland.