Som syttenåring innledet prinsen et forhold til Mary Robinson (1757–1800) etter å ha sett henne som Perdita i skuespillet 3. desember 1779. For å fortsette å treffe henne lovet han henne til gjengjeld 20 000 pund utbetalt, straks han fylte 21. Det løftet hadde han aldri til hensikt å oppfylle, selv om Robinson fikk en datter med ham. Robinson truet ham så med alle brevene han hadde sendt henne, som han hadde signert som «Florizel». Faren hans betalte til sist piken 5 000 pund og en årlig pensjon, som imidlertid kom uregelmessig. Mary Robinson ble senere en respektert skribent med venner som Mary Wollstonecraft og Coleridge. Hun fikk sitt portrett malt av både Joshua Reynolds og Thomas Gainsborough, og er gravlagt på Old Windsor gravplass i Berkshire.