Brown fikk sin mors gitar da han var åtte år gammel, og en av stefarens pasienter underviste ham i klassisk gitar. Han fullførte to år med undervisning i klassisk musikk, men kort tid etter fikk han en lidenskap for bluegrass musikk. I midten av tenårene gikk han et år på undervisning for å bli vokalist.