Tidligere lå det et fiskeleie i området, og her kvittet en seg med avfall. På vestsiden av vika, på plassen Holmen, lå det et mindre teglverk på 1740-tallet. Flere fiskeplasser hørte under Holmen. På 1800-tallet fylte man gradvis igjen gruntvannsområdet der Vestbanen ligger nå. Da Aker brygge ble bygd på 1980-tallet, fant man flere kanoner under gravearbeidet, trolig fra skip. I 1815 lyktes Oslo Byes Vel i å etablere en vannledning til Pipervika.