La idea de levantar una fortaleza en dicha localización surgió a finales del siglo XVIII, pero se hizo cada vez más intensa a partir de la invasión de Rusia en 1812 por Napoleón, cuando la "Grande Armée", sin dificultad alguna, logró cruzar el río Niemen cerca de Kaunas en su marcha hacia Moscú.