3世紀には都市の周りに城壁がめぐらされたが、312年にコンスタンティヌス1世の軍勢に包囲された際に焼かれている（ミルウィウス橋の戦い参照）。西ローマ帝国の滅亡（476年）により、セグシウムは衰退した。