Montgomery vokste opp i en musikalsk familie, med to eldre brødre (Monk og Buddy) som begge var dyktige musikere. Wes var selvlært (autodidakt) og lærte seg aldri å lese noter. I stedet utviklet han seg et godt gehør. En av hans første inspirasjonskilder var Benny Goodmans gitarist, Charlie Christian. Han plukket Christians spill, note for note. Etterhvert oppdaget han Charlie Parker og bebop. Wes turnerte med Lionel Hampton i 1948-'50, men holdt seg i ro i hjembyen etter dette, grunnet familiære omstendigheter. Hans brødre, The Montgomery Brothers, var allerede velkjente musikere da de bestemte seg for å ta lillebror Wes med på innspillinger i 1957, '58 og '59. Her kommer det fram at lillebror er den som virkelig har noe spesielt på gang. En del av disse innspillingene kan bli funnet på plata "Wes Montgomery: Far Wes" (Capitol Records, 1990).