A fim de repelir futuros ataques da República das Duas Nações, Boris Godunov mandou fortificar a cidade. A kremlin de pedra construída de 1597 a 1602 é a maior da Rússia. Foram construídas grossas muralhas e numerosas torres de observação. Essa pesada fortificação não impediu que a cidade fosse conquistada pelos polaco-lituanos em 1611 depois de vinte meses de cerco, durante o Tempo de Dificuldades e as Dimitríades. A enfraquecida Moscóvia cedeu temporariamente Smolensk para a República das Duas Nações de acordo com a Trégua de Deulino de 1619 e pelos próximos quarenta e três anos ela foi a capital da voivodia de Smoleńsk.