Navnet på byen er endret mange ganger, fra Wibiærgh og Wybærgh til Wiburgh samt det latinske navnet Wibergis. «Borg» kommer av at byen ligger høyt i terrenget, og det var et mye brukt sted for gudedyrkelse. Fra gammelt av betyr «vi» det samme som helligdom.