Ellison var sønn av en bygningsarbeider. Han kom til New York for å studere musikk og skulptur. I 1952 debuterte han som forfatter med romanen , den eneste romanen som utkom i hans levetid. Denne boka regnes blant de betydeligste amerikanske utgivelsene fra 1950-tallet. Romanen tar opp sosiale og intellektuelle problemstillingene som afroamerikanere møtte tidlig på 1900-tallet.