Екатерина Трубецкая проживала в Братцеве в гражданском браке с генерал-адъютантом Иваном Римским-Корсаковым, бывшим фаворитом императрицы Екатерины II. По состоянию на 1800 год пара занимала господский деревянный дом. По одной из версий, в 1813—1815 годах на месте дома, сгоревшего во время Отечественной войны, было возведено каменное здание особняка. Примерно тем же периодом датирован английский парк с декоративной беседкой-ротондой «Миловид», каменным мостом и каскадом прудов.