В конце XVIII — начале XIX века имение принадлежало Войцеху Пусловскому (). В 1809 году Пусловский построил в Ольшево костёл св. Войцеха с фамильным склепом Пусловских при нём. В склепе был похоронен сам Пусловский, его жена Юзефа и брат жены российский государственный деятель Франциск-Ксаверий Друцкий-Любецкий. После разгрома восстания восстания 1863 года здание храма было передано православным и с 1867 года освящено как православная Успенская церковь