В начале XX века усадьба находилась в собственности купца Г. И. Вельтищева. Перед Октябрьским переворотом её хозяином был паркетный фабрикант В. П. Панюшев, после революции здание с прилегающими к нему корпусами было национализировано. В 1919-м главный дом занимало Центральное управление военных сообщений при Реввоенсовете, в 1920-х годах его передали Институту слова фольклористки Ольги Озаровской. В советское время корпус по Брюсову переулку также получил двухэтажную надстройку с сохранением первоначального фасада, включая фриз из белого камня.