Victoria từng là nơi giam giữ tội phạm nghiêm trọng như hải tặc, tướng cướp... Khi quân đội Nhật chiếm đóng Hong Kong suốt Thế chiến II, nhiều kiến trúc của nhà tù đã bị phá huỷ.