Militært var byen lett å forsvare, ettersom den lå på en halvøy mellom Tweed og Teviot, med Roxburgh slott plassert slik at det voktet veien inn på halvøya. Allikevel måtte den flere ganger gi tapt under harde angreop, og den ble flere ganger tatt av engelske styrker og så tatt tilbake av skotske. Etter å ha blitt inntatt for siste gang i 1460 ble både byen og slottet ødelagt. Man rakk ikke å bygge den opp igjen før Berwick-upon-Tweed falt til engelskmennene i 1482, og det var da ikke verken militært eller økonomisk grunnlag for å gjenreise byen.