Der var tre barn i ekteskapet - William (f. 1852), Oscar født to år senere, og Isola («øy» på italiensk, med tanke på Irland), født i 1857. Familien bodde svært fornemt i Merrion Square nr 1. Imidlertid ble privatlivet forstyrret av den unge kvinnen Mary Travers, som spredte brosjyrer med påstand om at da hun tidligere var dr Wildes pasient, hadde han bedøvet henne med kloroform og voldtatt henne i konsultasjonsrommet sitt. Fru Wilde skrev til Travers' far at han måtte få stoppet datterens oppførsel. Mary Travers anmeldte da fru Wilde for injurier, og fikk i desember 1864 medhold i retten; men fru Wilde ble bare dømt til å betale Travers en (= en fjerdedels ) i oppreisning.