I 1837 ankret skipet HMS «Victor» ved stedet og kapteinen gav stedet navn etter skipet. På samme tid ble det etablert to hvalfangerstasjoner ved Victor Harbor som skulle bli viktige for Sør-Australias økonomi.