Den 4. mars 1767 skal hertugen av Cumberland ha gifta seg med Olive Wilmot (senere fru Payne), en kvinne av folket, i en hemmelig seremoni. Forholdet skal ha resultert i et barn, Olivia Wilmot (1772–1832), men hertugens farskap blei aldri bevist og Olivia Wilmot blei beskyldt for å legge fram falske bevis. Olivia Wilmot ble landskapsmaler og forfatter, gifta seg med John Thomas Serres (1759–1825), og påberopte seg stundom tittelen prinsesse Olivia av Cumberland.