Przed 1741 na dworze Potockich w Niemirowie służył pułkownik nadwornych kozaków Sawa Czały, ojciec Józefa Sawy-Calińskiego, konfederata barskiego. Potoccy odbudowali podupadający zamek. Wincenty Potocki (zm. 1825) w zamku umieścił fabrykę sukna. W murowano-drewnianym pałacu przyjmowany był król Polski Stanisław August Poniatowski. Nowy dwukondygnacyjny pałac po rozebraniu starego wzniosła ks. Maria Szczerbatowa w latach 1894-1917 w stylu empire. Pałac posiadał portyk z sześcioma kolumnami greckimi podtrzymującymi trójkątny fronton.