Slottsfjärden rommet en havn tilbake til tidlig i middelalder, som på et kart fra 1610 kaltes . Middelalderbyen ble flyttet til Kvarnholmen i 1640 etter et vedtak av riksrådet, påskyndet av en bybrann samme år. Etter at den gamle byen var forsvunnet, ble Slottsfjärden grunnere med tiden, slik at det gamle havneområdet ble oppgitt. Området var også åsted for krigshandlinger og kjente forlis på 1500-tallet og 1600-tallet. Det største vraket som ble funnet, er «Kalmar XV» fra 1611 med en lengde på over 25 meter.