Victorian alttari
Kiista alttarin poistamisesta

Kristinuskon vallan vakiintuessa syntyi voimakasta vastakkainasettelua sen ja perinteisen roomalaisen uskonnon välille. Tästä johtuen myös alttari patsaineen joutui kiistan keskipisteeseen ja areiolaisen suuntauksen kiihkeä kannattaja keisari Konstantius II (337–361) poistatti sen vuonna 357. Kuitenkin alttari ja patsas palautettiin takaisin paikalleen, todennäköisesti Konstantiuksen seuraajan Julianuksen (361–363) toimesta. Julianus pyrki politiikassaan antiikin perinteiden ja uskonnon palauttamiseen uudelleen valta-asemaan. Valentinianus I:n valtakaudella alttari jätettiin paikalleen, kunnes vuonna 382 hänen kristitty poikansa ja seuraajansa Gratianus (375–383) määräsi poistamaan alttarin. Theodosius I vakiinnutti thessalonikalaisediktillä vuonna 380 kristinuskon uudeksi valtionuskonnoksi. Gratianus poistatti keisarin pontifex maximus -aseman ja tuhkahdutti antiikin uskonnolliset palvontamenot. Hän myös takavarikoi roomalaisen uskonnon pappiskollegioihin tarkoitetut varat, Mediolanumin piispan Ambrosiuksen suosiollisella myötävaikutuksella.
Senaattorien puolue kuitenkin suosi antiikin uskontoa ja yritti palauttaa Victorian alttarin uudelleen kuuriaan vuonna 384. Kaupunginprefekti (praefectus urbi) Quintus Aurelius Symmachus riensi Mediolanumiin ja osoitti kolmelle keisarille Valentinianus II:lle, Theodosius I:lle ja Arcadiukselle Relatio in tertia repetenda ara Victoriae -julkilausuman, jossa hän puolusti Victorian kulttiin ja alttariin liittyviä perinteisiä arvoja ja symbolista merkitystä.
Symmachuksen mukaan ei ollut järkevää hylätä sellaisia perinteitä, jotka olivat osoittautuneet hyödylliseksi suojaksi valtiolle kuluneiden vuosien aikana, kuten torjuttaessa Hannibal Rooman porteilta ja gallialaiset senonit Capitoliumista. Näissä tilanteissa periksiantaminen olisi vain lisännyt barbaarihyökkäysten mahdollisuutta valtion rajoilla. Symmachuksen mukaan Victorian kultin palauttaminen ei olisi ainoastaan hyödyllistä valtiolle, vaan myös osoitus suvaitsevaisuudesta. Se olisi osoitus siitä, että kahden keskenään täysin erilaisenkin kulttuurin rinnakkaiselo olisi mahdollista, sillä erilaisuudestaan huolimatta yhdessä ne etsisivät totuutta maailmankaikkeuden suuresta mysteeristä:
«On täysin hyväksyttävää uskoa yhteen olentoon, mihin tahansa. Katsomme samoja tähtiä, taivas on kaikille yhteinen, sama maailmankaikkeus ympäröi kaikkia. Mitä merkitystä sillä on, että kukin etsii totuutta omalla tavallaan? Ei ole olemassa vain yhtä tapaa ymmärtää elämän suurta mysteeriä».
Symmachuksen vastustaja, Milanon piispa Ambrosius, lähetti  Valentinianukselle kaksi kirjettä, joissa hän totesi, että kristitty hallitsija ei voi sallia pakanallista alttaria senaatissa. Kristitty Valentinianus oli samaa mieltä Ambrosiuksen kanssa, eikä alttaria palautettu paikalleen. Tämäkään ei vielä riittänyt, vaan 24. helmikuuta 391 Theodosius I:n asetuksessa todettiin, että temppeleissä edelleen olevia patsaita oli paitsi kiellettyä katsoa myös suorittaa niille palvontarituaaleja.
Vuonna 392 Rooman keisariksi valittiin suvaitsevainen  kristitty Eugenius. Pakanasenaattorien tuella alttari ja patsas siirrettiin jälleen Kuriaan. Kuitenkin 6. syyskuuta vuonna 394 Theodosius voitti Eugeniuksen Frigiduksen taistelussa, minkä jälkeen alttari poistettiin kuuriasta lopullisesti.
Viimeisen yrityksen palauttaa alttari ja Victorian patsas kuuriaan teki senaatti. Todennäköisesti senaatissa edelleen ollut pakanaenemmistö lähetti vuoden 402 alussa delegaation Milanoon, jota johti edelleen Symmachus seuranaan Arcadius ja Honorius. Heidän pyyntönsä palauttaa alun perin Augustuksen pystyttämän alttarin paikalleen, hylättiin. Tämä oli viimeinen alttarin palautusyritys, kuten ei-kristitty historioitsija Zosimos kirjoittaa,  kristinuskoon käännyttämisen myötä vähitellen suurimmasta osasta senaattoreista tuli kristittyjä.
Lopulta alttari koki saman kohtalon kuin monet muutkin antiikin maailman esineet, joita uusiokäytettiin erilaisiin tarkoituksiin, jolloin niiden alkuperäinen merkitys unohdettiin täysin.