V držení újezdu se vystřídalo několik pánů, po Janu z Ralska a Vartenberka jako odpůrci husitů přešlo na Jana Smiřického, dále Jana Čečka a následně Jiřího z Dubé a po něm na Mikuláše Berku z Dubé. Obec tak jako okolní vypálili 1468 Lužičané. Panství dále převzal Linhart z Gutštejna, po něm Jan ze Šelmberka a dále Jan z Vartenberka. Ten přikoupil Malou Skálu a Frýdštejn, kam připojil i Sezemice. Jeho syn Adam založil panství Svijany, kam připadly Sezemice s okolními vesnicemi. Panství obdržel syn Jaroslav, po jeho smrti se vdova provdala za Jáchyma Šlika. Po Bílé Hoře bylo panství zkonfiskováno a prodáno 1622 Albrechtu z Valdštejna. Po jeho zavraždění obdržel panství svijanské Maxmilián z Valdštejna. Valdštejnové pak panství v roce 1814 prodali Rohanům, kteří je spolu se Sychrovem vlastnili až do roku 1945.