Нашествие Наполеона, по словам самого Дмитрий Зубова, принесло ему до 5 миллионов рублей убытка. В конце концов состояние его было столь плачевно, что запрет был наложен даже на распоряжение имением жены, так как она выступала поручителем в его залогах.