K založení kostela došlo za vlády krále Karla IV. a datuje se do roku 1349, kdy měl první pražský arcibiskup Arnošt z Pardubic podle svého slibu založit čtyři kláštery řádu augustiniánů kanovníků a toto byl první z nich.. Arnošt zároveň vyhlásil v celé arcidiecézi veřejnou sbírku na stavbu kostela a kláštera. Kostel později povýšil z farního kostela na konventní kostel Řádu řeholních kanovníků sv. Augustina a uvedl do něj kanovníky. Jeho založení, zřízení proboštství a převedení duchovní služby potvrdil roku 1358 papež Inocenc VI.. Se stavbou trojlodní stavby se začalo v 60. letech 14. století, dříve se uváděl rok 1404, v němž augustiniáni požádali o přesídlení od kostela Panny Marie na Pražském předměstí (Na kameni). Chrám byl údajně projektován jako zkrácená verze kostela ve Vratislavi. Původní chrám byl vystavěn jako stejnolodní s bohatým klenebním systémem, který je dnes zachovalý pouze v torzu. Husitské války přerušily stavbu chrámu, ta byla zaklenuta až počátkem 16. století. Kostel byl bohužel chybně založen, severní část na skále, jižní na labských náplavech. To se pak každých sto let projevilo statickými problémy a vykláněním jižní obvodové stěny.