Da han kom tilbake til Temples hus, oppdaget Swift at den lille, sykelige piken Esther hadde vokst til en ung pike på femten år med perfekt helse. Noen forskere har spekulert i om Esther, eller Stella, var illegitim datter av William Temple. Det har også vært grublet på om ikke Jonathan Swift var en illegitim sønn av John Temple, overdommer i Dublin. Det gjorde ham i så fall til halvbror av William Temple. Swift hadde et tett forhold til Esther, men om det var av intim art, er uklart. I sine dagbokbøker og brev synes det som om han trives best med å tilbe henne på avstand.