El puente cayó en desuso después de que los romanos se fueran. Como Londinium también fue abandonado, había poca necesidad de un puente en este punto, y en el período sajón el río era la frontera entre los reinos hostiles de Mercia y Wessex. Mucho más tarde, una tradición escandinava afirma que el puente fue derribado por el príncipe noruego Olaf en 1014, para ayudar al rey anglosajón Etelredo para dividir a las fuerzas invasoras del danés Svein Haraldsson quienes poseían la ciudad amurallada de Londres y Southwark, a ambos lados del río, recuperando así Londres. Se piensa que este episodio ha inspirado la famosa canción de cuna británica "el puente de Londres se está cayendo".