Во время шведского потопа в середине XVII века костёл и местечко были полностью разрушены. В конце того же столетия Ожа была заново выстроена, но немного в стороне от прежнего места, на правом берегу Гожанки. Костёл был также возведен на новом месте, в нём хранилась икона, почитавшаяся чудотворной (сохранилась до наших дней). Во время Северной войны начала XVIII века шведы ещё раз сожгли Ожу, после чего поселение пришло в упадок. Во второй половине XVIII века оно насчитывала только 25 дворов. С 1785 года деревня стала носить постоянное название Гожа.