El 4 de marzo de 1767, el duque de Cumberland habría "contraído matrimonio", en una ceremonia secreta, con Olivia Wilmot (luego Olivia Payne al casarse), una mujer común.