I en alder av 14 år hadde hun dannet sin egen musikkgruppe som het The Peaches. Deres sang «The Wallflower» havnet på førsteplass på hitlister for rhythm and blues i 1955. Gruppen ga også ut sangen «Good Rockin 'Daddy», som også ble en hit. I 1960 signerte James en platekontrakt med Argo Records, et datterselskap til Chess Records, som ga ut hennes to mest kritikerroste album, At Last! og The Second Time Around. James spilte inn 30 album og 58 singler gjennom sin karriere. Rolling Stone rangerte James som nummer 22 på sin liste over 100 Greatest Singers of All Time og hun var nummer 62 på listen over de 100 største kunstnere.