В XVIII ст. замок втратив своє оборонне значення і слугував за житло. Під час боротьби барських конфедератів в 1769 році фортецю спалили російські війська. Замок більше не відновлювали. 1840 року власник Раковця Дверницький організував на території замку поташеву фабрику, але й вона невдовзі згоріла. Наприкінці того ж століття власником руїн став Шмуль Баран. З часом місцеві жителі розібрали рештки оборонних мурів для власних будівельних потреб. За окремими свідченнями ще в 60-х рр. ХХ ст. були великі фрагменти оборонних мурів навколо збереженої східної башти. Образ із замкової каплиці зберігався у сільській церкві до Першої світової війни.