Prins Alfred, Dronning Victorias andre sønn begynte å bygge havnen i 1860. Havnen er oppkalt etter både han selv og moren, derav navnet Victoria & Alfred Waterfront.