Staldgården unngikk brannen på Koldinghus i 1808, og ble brukt til oppmagasinering av militært materiell under Englandskrigene i 1808-1814. Senere ble bygningene benyttet av byens kjøpmenn til oppmagasinering. I 1907 ble Staldgården igjen overtatt av militæret, og det ble innredet et remontedepot (dvs. oppdrett og øvelsesriding av hester til hæren).