Pierwsza dekada XII w. jest uważana za datę rozpoczęcia realizacji inwestycji, której inicjatorami byli biskupi Pasawy oraz książę bawarski Leopold IV, którzy ustanowili w rozwijającym się Wiedniu nową parafię. Wówczas w Wiedniu, który przeżywał rozwój gospodarczy i urbanistyczny były dwie parafie: najstarsza – św. Ruperta oraz św. Piotra. Świątynię erygował w 1137 r. biskup pasawski Reginbert von Hagenau. Miało to miejsce za panowania króla niemieckiego Konrada III Hohenstaufa. Niebawem na podstawie pierwotnej, romańskiej, trójnawowej świątyni z transeptem i wydzielonym prezbiterium, za panowania ostatnich Babenbergów, wzniesiono nowy większy kościół o formach późnoromańskich i wczesnogotyckich. Pożar w 1258 zniszczył niemal całkowicie kościół. Do dziś zachowały się elementy tej świątyni w dolnych partiach zachodniej fasady: portal zw. "Riesentor", dolne kondygnacje wież zachodnich zwanych Wieżami Pogan ("Heidentürme") oraz niewielkie fragmenty pierwotnego chóru zachodniego.