1-1398年维陶塔斯大公增修了五座哥特式钟楼，自己常居住如此，并以城堡为中心修建其他建筑，扩大了格罗德诺城市的规模。卡齐米日四世也很喜欢这一城堡，宁可居住于此而不居住在首都，并于1492年在城堡中去世。在斯特凡·巴托里统治立陶宛大公国时，又计划按照文艺复兴建筑风格完全重建这座城堡。但1586年他的突然离世使这一计划中断。1655年在俄波战争 (1654年－1667年)中，俄军摧毁了这座城堡。十几年后在立陶宛大公国大臣Krzysztof Zygmunt Pac的筹款和组织下，格罗德诺城堡得以重建。米哈乌