McCollum ble født i Helena, Arkansas, men forlot tidlig hjembyen for å livnære seg som omvandrende musiker. En stund bodde han i Memphis, Tennessee, der han spilte med lokale orkestre og musikere, som The Memphis Jug Band. Av Houston Stackhouse lærte han å spille slidegitar, og han opptrådte sammen med ham på radio i Jackson, Mississippi.