Carlton begynte å spille gitar da han var seks år gammel. Han gikk i lære hos Slim Edwards nær sitt hjem i Torrance, California. Han ble interessert i jazz da han gikk på high school, og hans stil var inspirert av gitaristene Joe Pass, Wes Montgomery, Barney Kessel og B.B. King. Saksofonist John Coltrane har også påvirket Carlton, og Carltons konsertalbum har hatt med kutt fra Miles Davis' kjennemerke . Larry Carlton er gift med den kristne musikkartisten Michele Pillar.