Klosteret Optina Pustyn ligger like ved byen. På 1800-tallet ble klosteret viden kjent for sin «starets». Under andre verdenskrig ble det opprettet en leir for krigsfanger i klosteret, beregnet for polske offiserer som ble tatt til fange av Den røde armé under den russiske invasjonen av Polen i 1939. Mellom april og mai 1940 overførte NKVD rundt 4 500 av dem til et skogsområde i nærheten av Katyn, hvor de ble henrettet i det som ble kjent som Katynmassakren. De gjenværende 200 offiserene ble sent til en leir i Pavlisjtsjev Bor og deretter til Grjazovets. Byen var okkupert av Tyskland fra oktober 1941 til 27. desember 1941. Kozelsk ble fullstendig ødelagt, men ble gjenoppbygd etter krigen.