В январе 1804 года пустующий комплекс занял архив Военной конторы. Во время Отечественной войны 1812-го строения переоборудовали под госпиталь. На планах, показывающих разрушения Москвы после пожара, Лефортовский дворец изображён сильно повреждённым. В 1826-м строение перешло в распоряжение Московского военного госпиталя, в этот период ветхое здание населяли служащие подвижных инвалидных войск, обслуживавшие больницу. Через девять лет здание передали в военное ведомство, и в 1840—1850 годах в дворцовых палатах проходили ремонт, перепланировка и надстройка третьим этажом. К 1865-му в них разместилось отделение архива Инспекторского департамента Военного министерства, на его базе организовали Московский Общий архив Главного штаба, получивший также название Лефортовский. В дальнейшем комплекс служил военным и гражданским нуждам, в разное время в нём существовали кадетские корпуса, офицерские и чиновничьи квартиры, военное училище, подразделение латышских стрелков, окружное инженерное управление.