Dudley var glad i kvinnelig selskap. Han skal i 1573 ha giftet seg med enken Lady Dougles Sheffied. Senere forlot han henne til fordel for Lettice Knollys, enken etter Walter Devereux, som var kusine av dronning Elisabeth på morssiden; hun var datter av Catherine Carey, datter av Lady Mary Boleyn og niese av Anne Boleyn. Ekteskapet vakte anstøt hos dronningen, som forviste ham fra hoffet. Ingen, muligens med unntak av dronningen, hadde forventet at hans forhold til Elisabeth skulle ha fått ham til å leve i sølibat i de nitten årene som hadde gått siden hans første kones død. I 1573 ble det observert at ikke bare var Lady Douglas Sheffield, men også hennes søster, den ugifte Frances Howard, dypt forelsket i Dudley. Dronningen satte liten pris på verken søstrene eller på Dudley som oppmuntret dem. Lady Sheffield fikk en sønn i 1573/4, som fikk navnet Robert Dudley. Sønnen fikk ikke arverett til tittelen jarl av Leicerster på grunn av farens handlinger.