Dworek w Ołtarzewie i jego historia związane są z rodziną Ryxów – potomków emigranta pochodzącego z Francji, Franciszka Ryxa. Otrzymał on od króla Stanisława Augusta Poniatowskiego za zasługi tytuł starosty piaseczyńskiego i herb szlachecki „Pierścień”. Jego bratanek, Franciszek Ryx był majorem Wojska Polskiego i dosłużył się podczas Insurekcji Kościuszkowskiej, w 1794 Krzyża „Virtuti Militari”.