Colditz nevnes tidligst i år 1046 som , og på 1100-tallet oppstod en kjøpstad og St. Nikolaikirken. Den nevnes som by i 1265. I 1404 kjøpte Wettindynastiet herskapet Colditz, og innlemmet det i markgrevskapet Meissen. En stor bybrann herjet byen i 1504, og ombyggingen av borgen Colditz til slott begynte. Mellom 1578 og 1591 ble et renessansebygg oppført som jaktslott for det kursachsiske hoff. Colditz var enkesete for kurfyrstinne Sophie av Sachsen mellom 1602 og 1622. Det var tidlig farveproduksjon i byen, og farve fra Colditz ble brukt på meissenerporselen fra 1710. Byen ble rammet av flom i 2002.