Østerøya og nabohalvøya Vesterøya var tidligere øyer, slik at det på 800-tallet var mulig å seile innaskjærs mellom Sandefjord og Tønsbergfjorden. Øyene het da Yxney og Veløy. Østerøya var befestet under siste verdenskrig.