Tras recibir una beca, Ellison pudo centrarse en la música, su afición temprana; entre 1933 y 1936 estuvo para ello en el Tuskegee Institute, especializándose en la trompeta.