Som barn sang Russell i et kirkekor og hadde piano- og orgelundervisning. Da han var tolv år bestemte han seg for slagverk, fra 1937 spilte han i lokale danseband, blant annet i Cotton Club i Ohio. I 1940 fikk han et stipendium og studerte da slagverk ved Wilberforce University. I 1942 fikk han tuberkulose. Da han var tvunget til å være forsiktig, konsentrerte han seg om komposisjon og arbeidet som arrangør hos Earl Hines. Ved siden av spilte han av og til trommer hos Benny Carter og skrev sitt første verk, , for ham.