Родился в семье графа Василия Васильевича Орлова-Денисова, известного своими подвигами во время войны 1812 года, и Марии (1784—1829), дочери графа А. И. Васильева, первого в России министра финансов. Крестник Г. Р. Державина, графа А. И. Васильева, княгини Е. А. Долгоркуовой и княжны Е. С. Урусовой. Службу начал юнкером в Лейб-гвардии Казачьем полку и 30 августа 1821 г. был произведён в корнеты.