父は初代サフォーク公爵ヘンリー・グレイ、母は同公爵夫人フランセス・ブランドン。