I 1446 var Kozelsk midlertidig underlagt Storhertugdømmet Litauen. I 1494 ble byen etterhvert annektert av Storfyrstedømmet Moskva. I 1607 var en Ivan Bolotnikovs enheter stasjonert i Kozelsk og gjorde motstand mot tsaristenes arme.