Pierwotna rezydencja dla hetmana Lwa Sapiehy powstała w tym miejscu w początkach XVII wieku i w niej gościł królewicza Władysława Wazę idącego w 1617 roku z armią na Moskwę. Kazimierz Lew Sapieha podejmował tu ponownie Władysława IV już jako króla Polski. Od 1655 roku, podczas wojny polsko-moskiewskiej w Różanie przez kilka lat przechowywano trumnę z relikwiami św. Kazimierza, dlatego przypuszczać można, że było to wówczas miejsce uważane za bezpieczne co sugeruje istnienie w tym miejscu jakichś fortyfikacji. Rezydencja została zniszczona podczas wojny domowej szlachty z Sapiehami w 1698 roku.