Gråhvalen er flekkete mørkt grå til lysere grå i fargen og sterkt begrodd med andeskjell og hvallus. Arten mangler regulær ryggfinne, men har en serie med pukler langs den bakre tredjedelen av ryggraden. Den har to dype furer på halsen, som gjør at kjeften kan åpnes maksimalt når den beiter på byttedyr. Gråhvalen bruker bardene (som er hvite) til å filtrere mat fra havbunnen, den er den eneste hvalart som finner primærføden i sedimentene på havbunnen, og som alle bardehvaler har den to blåsehull, som sitter på toppen av bakhodet/øverst i nakkeregionen.