Родился года. Сын сенатора Матвея Корниловича Бороздина (1753—1817) от его брака с Варварой Ивановной Панфиловой (1751—1818). Дед — К. М. Бороздин, герой Семилетней войны, первым из русских получивший чин генерал-аншефа артиллерии. С малолетства был записан в Преображенский лейб-гвардии полк, однако в 19 лет был определен в гражданскую службу. Его брат, Владимир Матвеевич стал военным: генерал-майор, участник Бородинского сражения.