У сярэднявеччы непадалёк ад паўднёвага фасада царквы знаходзіліся могілкі: яны бачны як на гравюры Цюндта-Адэльгаўзера, так і на гравюры Макоўскага 1600 года. На гравюрах бачны умацаванні каля берага, якія магчыма ахоўвалі тэрыторыю падчас паводак. Аднак ужо ў пачатку 18 ст. манастырскія забудовы разам з могілкамі абрынуліся ў Нёман, а к 1720 году становішча царквы стала настолькі крытычным, што пра яе на чарговым Сейме паднялі пытанне паслы Рыгор Катовіч і Зыгмунт Валь. Дакументы таго года сведчаць, што "«царква в. в. айцоў гарадзенскіх базыльянаў на Каложы … здэзалявана (знішчана) і з-за вымывання Нёмана амаль што да апошняй руіны схілена»". Захаваліся абмеры і апісанне становішча царквы, праведзеныя вайсковым інжынерам Т. Касцюшкі падчас паўстання 1794 года і выдадзеныя пазней ў Лондане.