Siendo muy joven, su familia se mudó al norte de Mississippi, donde Luther creció rodeado de músicos como Mississippi Fred McDowell o R.L.