Under innflytelse av musikken til Big Bill Broonzy bestemte Grossman seg for å lære gitarspill da han var rundt fjorten år. Reverend Gary Davis var læremester.