Po 1704 roku miasteczko wyludniło się. W 1744 roku Wołodarka przez małżeństwo z Elżbietą Wiśniowiecką przeszła w ręce wojewody smoleńskiego Michała Zdzisława Zamoyskiego, który zaczął na nowo zasiedlać te tereny ściągając osadników. W 1740 roku ufundowano w Wołodarce drewniany kościół katolicki z dwiema wieżami, który znajdował się pod zarządem Jezuitów z Białej Cerkwi. W tym czasie właścicielką Wołodarki była Katarzyna Mniszchówna, od której Wołodarkę kupił starosta kopajgrodzki Seweryn Wisłocki. W połowie XVIII wieku okolice Wołodarki były dotknięte działaniami Hajdamaków. W 1764 roku zbudowano drewnianą cerkiew. W 1768 roku w czasie Koliszczyzny Wołodarkę zajęli na krótko ludzie Gonty i Żeleźniaka. W dniu 4 czerwca 1794 roku w Wołodarce Suworow rozbroił polską brygadę, a następnie w wyniku III Rozbioru Polski miasto zostało wcielone do Rosji. W latach 1815-1826 staraniem proboszcza ks. Piotra Konopki zbudowano w Wołodarce murowany kościół katolicki. W 1841 roku Stanisław Jotejko sprzedał Wołodarkę Walentemu Abramowiczowi, którego syn Leon zbudował murowaną rezydencję, w której umieścił swoją kolekcję malarstwa (m.in. Chełmońskiego, Siemiradzkiego, Kossaka, Józefa Simlera, Pillatiego) i rzeźb (Lorenzo Bertoliniego, Luigi Pampaloniego). Po nim Wołodarkę odziedziczył Lucjan Abramowicz.