LaFarge, født som Andrew Heissler, ble født i Bloomington, Illinois i USA. Han ble kalt av moren når han var barn, og han har adoptert dette kallenavnet som artistnavn. I tenårene fikk han interesse for eldre bluesmusikk fra artister som Skip James, Robert Wilkins og Sleepy John Estes. Etter å ha hørt musikk av Bill Monroe i en alder av 16 år, byttet han bort gitaren han hadde fått av bestefaren sin mot en mandolin.