Byen skiftet navn til Victor Harbor i 1921 på tross av at ordet staves med u i moderne australsk engelsk.