Im Frühjahr 1808 befand sich Dänemark wieder im Krieg. Kopenhagen wurde beschossen, und die Ökonomie des Landes war in einem furchtbaren Zustand. 1813 wurde der dänische Gesamtstaat für bankrott erklärt. Als Teil der Friedensverhandlungen im Jahr 1814 musste Norwegen an Schweden abgetreten werden. In dieser Situation dachte niemand ernsthaft an einen Wiederaufbau von Koldinghus. Es gab keinen Bedarf für ein Schloss, da der Präfekt des Distrikts Kolding einige Jahre vorher verlassen hatte. Nur die örtliche Bevölkerung nutzte Koldinghus als Steinbruch.