W XVIII wieku Skarbiec był jednym z folwarku klucza podoroskiego, należącego do rodziny Grabowskich. W wyniku rozsprzedania tego majątku Skarbiec został kupiony przez Władyczańskich, do której to rodziny należał do 1939 roku. W drugiej połowie XIX wieku właścicielem Skarbca był Józef Władyczański (1842–1884), powstaniec styczniowy, po nim dobra te odziedziczył ostatni ich właściciel Miłosław Władyczański (1874–1941). Po I wojnie światowej majątek liczył 1540 hektarów, w 1930 roku – już tylko 655 ha, a w 1939 roku – jedynie 10 ha. Miłosław Władyczański został zamordowany przez władze radzieckie w 1941 roku, możliwe, że jego nazwisko znajduje się na białoruskiej liście katyńskiej.