Gårdsnavnet indikerer et eierskap til sundstedet. Det er i dag også stort sett synonymt med Sørsiden i Hønefoss, som er byområdet nord for Kvernbergsund bru. Om den opprinnelige gården lå ved brua eller nærmere fossen er usikkert, siden kvernberget som gården er oppkalt etter ikke er lokalisert. Det kan også ha ligget ved fossen, som er et mer sannsynlig sted for ei møllekvern. Kvernberggata, ei av de eldste gatene i Hønefoss, strekker seg mellom nettopp disse to stedene. Men langs Osloveien ligger også Kvernbergbakken, som er bakken i skråningen (kastet) mellom Dalsbråten og Hvervenmoen.