Nach dem Rückzug der Römer liegt die Geschichte des Gebiets weitgehend im Dunkeln, bis zum Bau der Kirche St Mary Bishophill Junior im 10. Jahrhundert. Die Kirche ist für die Zeit ein verhältnismäßig großes Gebäude. Nach der Normannischen Eroberung Englands wurde Baile Hill im Süden des Areals errichtet. Ein "Bailey" mit Erdbefestigungen lag in seinem Nordwesten. Möglicherweise hatte die Burg eine eigene Mühle. Später, als Clifford’s Tower auf dem gegenüberliegenden Ufer des Ouse errichtet worden war, ließ man den Burgstall verfallen und Teile der Befestigungsanlagen wurden in die Stadtbefestigung integriert. Am Ende des 14. Jahrhunderts stand die Stadtmauer an der Stelle, wo sie auch heute noch verläuft und im 15. Jahrhundert wurde das Areal an die City Corporation übergeben. Entlang des Flussufers entstanden Werften, wie zum Beispiel "Queen's Staith" (1660) und verschiedene Lagerhäuser. In dieser Zeit wurden immer mehr Häuser in dem Gebiet errichtet. Das bedeutendste davon war das "Buckingham House", das Heim von Lord Thomas Fairfax, der 1644 die Stadt belagert hatte. 1667 wurde der "Friends' Burial Ground" eingerichtet und das "Ann Middleton's Hospital" 1659 gegründet.