Kasernens bygning er en gammel oransjeribygning til Rosenborg, som i 1785 ble ombygget til kaserne, og bygningen kan føres tilbake til Christian Vs lysthus fra 1670, som ble midterpaviljong i Frederik IVs oransjeri fra 1709. I 1786 flyttet livgarden inn i det ombyggede anlegg.