Toisen maailmansodan aikana kaupungin lähellä sijaitsevaan Optinan luostariin perustettiin sotavankileiri puolalaisille upseereille, jotka puna-armeija oli ottanut vangiksi hyökättyään Puolaan 17.9.1939. Huhti-toukokuussa 1940 noin 4 500 vankia kuljetettiin Katynin lähellä olevaan metsään ja ammuttiin. Tapaus tunnetaan Katynin joukkomurhana. Loka–joulukuussa 1941 Kozelsk oli saksalaisten miehittämä ja tuhoutui pahoin.