Det råder uenighet om hvilket år Liston er født. Han selv oppgav året til 1932, men mange mente han var født i 1927. Liston var sønn av Tobe Liston, en forpakter, og Helen Baskin i Arkansas. Han vokste opp i meget fattige kår i en familie med sytten barn. Liston ble ofte slått som barn, og han begynte å arbeide i unge år ettersom hans fars motto var «om han kan sitte ved matbordet, kan han jobbe». Da han var 13, rømte han fra faren til sin mor i St. Louis.