Budowę mostu rozpoczęto w 1357 za panowania cesarza Karola IV. Stanął on na miejscu wcześniejszego (również kamiennego) mostu z XII w., zniszczonego przez powódź w 1342. Poprzedni most, romański, nosił nazwę „mostu Judyty” na cześć drugiej żony księcia czeskiego Władysława II i przebiegał na północ od miejsca, w którym znajduje się Most Karola. Posiadał wieże na obu końcach, z których małostrańska, choć przebudowana, istnieje do dziś.