Washington ble født i Buffalo, New York den 12. desember 1943. Hans mor var en kirkekorsanger og hans far Grover Washington sr. var saksofonist og en samler av gamle 78-jazzplater. Musikk var overalt i hjemmet, og han vokste opp med store jazzpersonligheter og big band-ledere som Benny Goodman, Fletcher Henderson og andre som dem. I en alder av 8 år fikk Grover jr. en saksofon av sin far, med det håpet at han skulle bli mer enn det han selv hadde klart å bli. Grover øvde mye og snek seg inn på klubber for å se kjente Buffalo-bluesmusikere.