I april 1843 hadde kongen gitt tillatelse til etablering av en katolsk menighet i Norge, og Montz ble første sogneprest for St. Olav menighet (da St. Olaf, nå St. Olav domkirkes menighet). Han feiret menighetens første messe i et provisorisk kapell viet til St. Olav, som lå i en bygård på hjørnet av Youngs gate og Storgaten. Tomten som menighetens nye, permanente kirke skulle oppføres på, ble ikke innkjøpt før etter at Montz hadde forlatt Norge.