Kommandantboligen er det nest største huset på Hovedøya. Boligen ble bygd i 1850-51 som et laboratorium for forsvaret, og det ble brukt til eksperimenter og utvikling av sprengstoff, krutt og patroner. Bygningen bærer preg av senklassisismen og er påvirket av sen-empirestilen, med rene former og lite utsmykning. I 1895 ble huset omgjort til sommerbolig for felttøymesteren og oberst Ole Herman Krag (1837–1916) og hans familie. Til kommandantboligen hørte en egen brygge, og derfra en egen adkomst. Det ble anlagt en stor og vakker hage til boligen. Fortsatt står noen gamle frukttrær og syriner i området. Huset fikk tilbygg i Krag-familiens tid, utformet i tidsriktig sveitserstil på slutten av 1800-tallet.