Det har ligget en bro på eller nær det nåværende stedet for London Bridge gjennom nesten 2000 år. Den første broen som krysset Themsen i London-området ble bygget av romerne på det nåværende stedet rundt år 46 og var laget av tre. Beliggenheten ble mest sannsynlig valgt fordi det var dypt vann ut til havet. Broen forfalt etter at romerne reiste, men på et tidspunkt ble den enten reparert eller erstattet med nytt trevirke, sannsynligvis mer enn én gang. I 1014 ble broen ødelagt av Olav Haraldsson, senere kjent som Olav den hellige, som på denne måten hjalp kong Ethelred II med å splitte styrkene til danskekongen Svein Tjugeskjegg (som da holdt byen) og dermed ta igjen makten i London og England. Det er etter alminnelig oppfatning denne episoden som ga inspirasjon til barneverset «London Bridge is falling down».. Den gjenoppførte London Bridge ble ødelagt av en storm i 1091 og igjen av brann i 1136.