Ha habido especulaciones, no solo de que la Duquesa y Conroy fueron amantes, sino de que Victoria le fue infiel al Duque de Kent y de que Victoria no era hija de éste.