Sin karakteristiske profil fikk Koldinghus rundt 1600 da Christian IV fikk forhøyet vestfløyen med en etasje og oppførte det såkalte «Kæmpetårn», som fikk sitt navn på grunn av de fire statuene av helter og kjemper fra gresk mytologi som ble oppført på tårnet. I dag er bare statuen av Herkules igjen. Slottet brant i 1808 under de spanske hjelpetroppenes innkvartering og lå som en ruin i en årrekke. Gjennom en periode på ca. 100 år er ruinen gradvis blitt overdekket og bygget opp igjen for endelig å stå ferdigrestaurert i 1991.