Goldsmiths fødselsdato og år er ikke sikkert kjent. I henhold til USAs nasjonalbiblioteks autoritetsfil fortalte han en biograf at han var født den 10. november 1728. Fødestedet er også usikkert. Han ble født enten i bydistriktet Pallas i nærheten av Ballymahon i grevskapet Longford på Irland hvor hans far var en anglikansk kapellan ved sognet Forgney, eller ved residensen til besteforeldre på morssiden, ved Smith Hill House i sognet Elphin i grevskapet Roscommon hvor hans bestefar Oliver Jones var en prest og rektor ved Elphins sogneskole, og hvor Oliver Goldsmith selv var elev. Da han var to år gammel ble hans far utpekt til rektor av sognet Kilkenny West i grevskapet Westmeath. Familien flyttet til prestegården ved Lissoy, mellom Athlone og Ballymahon, og de ble boende der til hans far døde i 1747.