1873-ban, már a Magyar Honvédség főparancsnokaként a Szent György téren álló Teleki-palotába költöztette az új Honvéd Főparancsnokság hivatalait. 1889 után, amikor a hivatalokat átköltöztették a Dísz téren megépült új Magyar Királyi Honvédelmi Minisztérium épületébe, József Károly főherceg megvásárolta a Teleki-palotát a maga számára. 1902-ben historizáló stílusban átépítette és kibővítette, Korb Flóris és Giergl Kálmán tervei alapján. Elhunyta után a főhercegi palotát fia, József Ágost főherceg örökölte. (Az épület Budapest 1944–45-ös ostroma során megsérült, 1968-ban felrobbantották).