Pocházel z významného šlechtického rodu Seymourů, patřil k rodové linii markýzů z Herftordu, byl synem admirála lorda Hugha Seymoura (1759–1801), po matce byl potomkem rodu Waldegrave a vnukem 2. hraběte Waldegrave, po otci byl vnukem 1. markýze z Hertfordu (na rozdíl od svých předků již neužíval jméno "Seymour-Conway", ale jen "Seymour"). Do námořnictva vstoupil již v deseti letech pod velením svého otce, nejprve ve Středomoří, poté v Karibiku. V roce 1806 byl zraněn v bitvě u San Dominga a v návaznosti na to se již v devatenácti letech stal kapitánem. Během napoleonských válek bojoval znovu ve Středomoří a v roce 1812 se zúčastnil války proti USA. V závěru napoleonských válek obdržel Řád lázně (1815) a poté žil v civilu, v letech 1818–1841 byl ceremoniářem Sněmovny lordů. V letech 1830–1837 byl nejvyšším hofmistrem a správcem královského šatníku krále Viléma IV., zároveň byl královským námořním pobočníkem. Jako rytíř hannoverského Řádu Guelfů byl v roce 1831 povýšen do šlechtického stavu.