Muligens kan Ramseys mangel på historiske bygninger skyldes at det har vært mange ødeleggelser grunn krig og invasjoner nettopp her. Godred Crovans sønn Olaf I Godredsson, «den gode prins», ble drept av en øks i Ramsey av sin nevø Ragnvald I Haraldsson i 1153. En annen norrøn-gælisk kriger, Somerled, gjorde en historisk landgang i Ramsey på midten av 1100-tallet, og et århundre senere, ulykkesåret 1313, gjorde Robert Bruce, Skottlands konge, landgang her på veg for å beleire av Castle Rushen. Ved å være den mest bekvemme havnen til England, Skottland, Irland, og Norge har Ramsey opplevd mange hærer som passerte på veg til et annet sted.