Under krigen med England 1807-14 blev det dårlige tider og mange af "de gamle" familier som havde holdt til på Svinør flyttede nu fra stedet. Neutralitetsvagter havde til huse i Svinør, og opbyggede en kanonstilling, og man mener også at nogle af kajerne blev bygget af soldater i den tid.