El nombre de la calle data de 1797, y se debe al hecho de que conectaba la entonces llamada "Lot Street" (actual Queen Street) a una bahía ("bay" en inglés) del litoral de la ciudad.