В 1814—1816 годах рядом с Батовским озером был построен господский дом под названием Елизаветино, в честь рано умершей жены. Елизаветино находилось недалеко от Тригорского, там, возможно, бывал Пушкин. В 1816 году за Яковом в деревнях числилось 502 крепостных мужского пола и 498 женского. Впоследствии имение было поделено между его детьми Александром Яковлевичем Ганнибалом (1797—1834) и его сестрой Евгенией (умерла в 1826), которая вышла замуж в 1822 году за опочецкого помещика, участника Отечественной войны 1812 г., Александра Адамовича Глаубича. После смерти жены А. А. Глаубич жил с сыном Валерианом в Елизаветино. А. Я. Ганнибал жил в имении жены, Александры Егоровны Юрепевой (1801—1869).