Lemon Jefferson ble født på en farm i Couchman utafor Wortham, Texas, som en av sju søsken. Fødselsåret var lenge ansett å være 1897, men nyere gransking av folketellingslistene godtgjør at han var født så tidlig som i 1893. Han var blind fra fødselen.