Podle dostupných informací stál prostý krucifix již v době panování Karla IV. Na nejstarším zobrazení Prahy v Schedelově kronice z roku 1493 je patrný kříž na stejném místě jako dnes. Ten však byl zničen za husitských nepokojů.