Tømmerbygningen ble opprinnelig oppført som et militærhospital (derav navnet) i 1807 da det var så mange syke og sårede soldater på Akershus festning at dette ble et sikkerhetsproblem. I tillegg raste Napoleonskrigene i Europa, og man ville være forberedt på at behovet kunne øke ytterligere.