Першым вядомым уласнікам Ястрамбеля быў Міхаіл Катлубай, які служыў рахунаводам пры Радзівілаўскай Камісіі, затым гаспадаром сядзібы стаў сын Міхаіла — паручнік Генрык Катлубай, які атрымаў сядзібу ў 1864 г. Да Генрыка ў маёнтак часта заязджаў яго старэйшы брат — вядомы гісторык і дваровы летапісец Радзівілаў Эдвард Катлубай (1822—1879), які нарадзіўся ў Вільні і валодаў маёнткам Курклішкі ў Троцкім павеце Віленскай губерні. За ўдзел у паўстанні 1863—1864 гадоў у Катлубаяў быў сканфіскаваны адзін з маёнткаў у Троцкім павеце. Пасля Эдварда палацам валодаў яго сын Генрык, удзельнік руска-турэцкай вайны, вядомы ваенны доктар. Пазней гаспадарамі сталі два сыны Генрыка — Міхаіл і Эдвард. Апошнім уласнікам палаца (да ўключэння ў 1939 г. Заходняй Беларусі ў склад БССР) стаў Зыгмунт Катлубай (1885—1940).