ロバート・ダドリー (初代レスター伯)
1550年6月にノーフォークの大地主ジョン・ロブサートの女子相続人エイミー(英語版)と最初の結婚をした。しかし子供のできないまま1560年にエミリーは事故死した。
1573年にはエフィンガムの初代ハワード男爵ウィリアム・ハワードの娘で第2代シェフィールド男爵(英語版)ジョン・シェフィールド(英語版)の未亡人だったダグラス・シェフィールド(ハワード)(英語版)と愛人関係になり、彼女との間に非嫡出子ロバート・ダドリー(英語版)(1574-1649)を儲けたが、ダグラスとの結婚は認められなかったので、この子供は非嫡出子であり爵位継承権はなかった。
1578年春に初代エセックス伯ウォルター・デヴァルーの未亡人レティス(旧姓ノウルズ)(英語版)と再婚した。レティスはエリザベス女王の母方の従姉の娘にあたる。彼女との間に唯一の嫡出子デンビー男爵(儀礼称号)ロバート・ダドリー(1579年 - 1584年)を儲けたが、この子は夭折した。
なお、レティスには前夫との間に第2代エセックス伯ロバート・デヴァルーがあったが、この第2代エセックス伯の実父はレスター伯だとする説がある。