Williams overtok som bassist etter at Mark Evans ble sparket i 1977. Williams spiller ofte på Music Man basser, men også Fender Precision har blitt mye benyttet. Når han spiller, bytter han på å spille fingerspill (eksempelvis «Boogie Man») og å spille med plekter. Han spiller blant annet på Ampeg SVT-forsterkere. Før han ble med i AC/DC spilte han i Bandit og Home. Williams utgjør rytmeseksjonen i bandet sammen med Stevie Young (gitar) og Phil Rudd (trommer).