Ormøy nevnes allerede i 1207, da baglerne kom seilende og la til ved Ormøy. De planla å overfalle kong Inge i Tunsberg, men fikk høre at han var i Oslo og seilte derfor snart videre dit. Øya er også nevnt flere andre ganger opp gjennom historien, ofte som samlingssted for skipsflåter.