Huden er tykk og spekklaget kan bli opp mot 15 cm tykt. Den er vanligvis enten brun eller gulbrun i fargen og har spredt hårvekst. Når den har vært lenge i vannet blir huden nærmest rosa, men brunfargen kommer tilbake med økende kroppstemperatur. Hodet er lite og snuten bred og dekket av stive, relativt korte værhår. Hvalrossen har ekstra store framluffer som gjerne kalles sveiver (som hos hvalene). Sveivene kan utgjøre hele 25 % av kroppslengden. Og akkurat som øreselene har også hvalrossen evnen til å vende bakluffene innunder kroppen og bruke dem til å gå med på land. Men til forskjell fra øreselene mangler hvalrossen visuell ørebrusk.