Da Swift reiste tilbake til Irland i september, fikk han følge av Esther, som da var blitt 20 år gammel, og en noe eldre Rebecca Dingley, og han fikk dem til å bosette seg i nærheten. Det hviler mye mystikk og kontrovers over hans forhold til disse kvinnene, og til Esther i særdeleshet. Noen mener at de ble gift i 1716, men det har aldri blitt bevist. Likevel var hun kjærere for ham enn noen annen, og hans følelser for henne endret seg aldri.