Karlov most je utrpel več nesreč in bil priča številnim zgodovinskim dogodkom. Češka legenda pravi, da se je gradnja začela 9. julija 1357 ob 5.31 s temeljnim kamnom, ki ga je položil sam Karel IV. Točen čas je bil zelo pomemben za svetega rimskega cesarja, ker je verjel numerologiji. Ta čas oziroma številke (1357, 9, 7, 5.31) naj bi podelile Karlovemu mostu dodatno moč. Glede na dolgo življenjsko dobo mostu je imelo morda cesarjevo prepričanje nekaj teže, čeprav je most doživel svoj pravični delež tragedij. Poplava leta 1432 je poškodovala tri stebre. Leta 1496 se je tretji lok (šteto od Starega mesta) poškodoval, ko se je eden od stebrov posedel, spodkopala ga je voda (popravila so bila končana leta 1503). Leto dni po bitki na Beli gori, ko je bilo 21. junija 1621 ubitih 27 voditeljev protihabsburškega upora, je bil mostni stolp na strani Starega mesta kot zaslon odsekanih glav žrtev, da bi Čehe odvrnili od nadaljnjega odpora. Ob koncu tridesetletne vojne leta 1648 so Švedi zasedli zahodni breg Vltave in ko so poskušali prodreti v Staro mesto, so bili najhujši spopadi prav na mostu. V bojih so bili hudo poškodovani ena stran stolpa v Starem mestu (stran, obrnjena proti reki) in skoraj vsi gotski okraski, ki so jih pozneje odstranili. V poznem 17. stoletju in v začetku 18. stoletja je most dobil značilno podobo z alejo baročnih kipov, nameščenih na stebrih. V veliki poplavi leta 1784 je bilo pet stebrov hudo poškodovanih in čeprav loki niso bili poškodovani, je bil promet na mostu dolgo omejen.