Czeslaw Kozon er sønn av flyktninger fra kommunistregimet i den daværende Folkerepublikken Polen. Han vokste opp i Grænge på Østlolland og gikk på skole i Toreby. Han tok studentereksamen ved Nykøbing Katedralskole i 1971. Hans lillebror, Jan, har vært journalist i København og Nordsjælland.