Chester Burton «Chet» Atkins ble født i den lille byen Luttrell øst i delstaten Tennessee. Atkins vokste opp med sine søsken hos moren, etter at foreldrene skilte seg. Chet var da seks år gammel.