У розныя часы Смальяны знаходзіліся ў валоданні князеў , Астрожскіх, Сангушкаў і іншых. Да 1626 года князь С. Сангушка-Ковельскі збудаваў тут мураваны замак, які пацярпеў ад ваенных дзеянняў у часе Трынаццігадовай і Вялікай Паўночнай войнаў. Аднак сапраўдны заняпад замка пачаўся ў канцы XVIII стагоддзя, а ў сярэдзіне XIX стагоддзя пасля Паўстання 1830—1831 гадоў новы гаспадар паселішча калежскі асэсар Васіль Сямёнаў прадаў збудаванне на цэглу.