在1440年代至15世纪末期，这个城堡得到相当程度的扩张。第一支火枪之用于维堡城堡是在1429年，1495年俄罗斯-瑞典战争时，俄罗斯多次为困维堡城堡，同时克努特·波塞是这座城城堡的领主。虽然局势上看来一面倒向俄罗斯，不过在1495年11月30日圣安德鲁日发生了一场神祕的爆炸，并且看到安得烈的肖像在天空中，俄罗斯人感到惧怕而直接离开。
现代历史.到了16世纪，这座城堡被翻新并且扩充，不过到了17世纪，这座城堡的重要性逐渐下降，主要是因为俄罗斯向东方扩张。到了1710年，俄罗斯人