Im "Anarchie" genannten Thronfolgekrieg zwischen Stephen und Kaiserin Matilda rückte William le Gros, Earl of Albemarle (eine untergegangene Grundherrschaft im wenig südlich gelegenen Holderness) auf das Priorat vor und vertrieb die Kanoniker in seinem Feldzug gegen Gilbert de Gant of Hunmanby. Er befestigte das Priorat und gab ihm später sechs Parzellen, eine in Boynton, die übrigen in Holderness. Heinrich IV. ordnete das Pfarrhaus von Scarborough dem Priorat zu, was später von Heinrich V., Heinrich VI. und Eduard IV. bestätigt wurde. Im Jahr 1388 erlaubte König Richard II., das Priorat mit Zinnen zu bewehren. Obwohl es vier Tore gab, befanden sich drei davon im Zentralbereich des Priorats (Kirk Gate, West Gate und Nun Gate) und wurden für den täglichen Betrieb genutzt, nur das Bayle Gate war ein befestigter Zugang an den Grenzen des Klosters, das auch niemals von einer Mauer umgeben war. Das Priorat hatte eine große Bibliothek, die kurz vor seiner Auflösung von John Leland inventarisiert wurde.