Родился года в Лондоне в семье князя Сергея Сергеевича Гагарина (1745—1798, сын С. В. Гагарина) и его жены Варвары Николаевны (1762—1802), урождённой княжны Голицыной (внучка М. М. Голицына). После смерти в 1791 году дальнего родственника В. А. Гагарина, героя Чесменской битвы, остался старшим в роду Гагариных. Имел младшего брата Сергея (1795—1852).