Gråselje er en busk eller et tre inntil 10 m, sjelden 15 m. Barken er mørkere grå og har grunnere furer enn hos selje. Skudd og kvister forblir hårete (grålodne) det første året. Bladene er 5–10 cm lange, og 2–3 ganger lengre enn de er brede, mot maksimalt to ganger lengre for selje. Gråselje har lett spatelformede blader, de er butte ytterst og er på det bredeste ovenfor midten. Blomstringen skjer senere enn hos selje, og gåsungene er mindre hos gråselje. Hannblomster gule støvbærere (gåsunger), hunnblomster grønn-gule.