У 1558 року Дубая згаданая ў сувязі з вызначэньнем межаў каралеўскіх пушчаў. У 1566 двор Дубай па прывілеі караля Жыгімонта Аўгуста перайшоў да Сямёна і Дзьмітрыя Вярэніч-Стахоўскіх гербу «Агеньчык». Пэўна, ад іх маёнтак набыў Сасінь Іванавіч. А ўжо ў 1596 року ўласьнікам Дубага стаў заможны шляхціч Ян Полаз, які заклаў тут вялізны парк з замкам пасярэдзіне. У 1598 ім валодаў Ян Папоў, далей — Агінскія, Радзівілы.