Joey Kelly wurde als achtes Kind des US-amerikanischen Lehrers Daniel Jerome Kelly (1930–2002) und als viertes Kind der US-amerikanischen Tänzerin Barbara-Ann Kelly (geb. Suokko, 1946–1982) in Gamonal in der spanischen Provinz Toledo geboren. Sein Vater war ein Nachfahre irischer Einwanderer, die infolge der in Irland herrschenden Hungersnot um 1850 nach New York gereist waren. Joey Kelly hat vier Halb- und sieben Vollgeschwister. Er wurde von seinem Vater unterrichtet, besuchte nie eine konventionelle Schule und wurde auch keiner staatlichen Abschlussprüfung zugeführt. Sein Vater habe den Hausunterricht niemals ernsthaft durchgeführt, behauptet Joey Kelly, und bis heute könne er deshalb nur schlecht lesen und schreiben. Als er neun Jahre alt war, starb seine Mutter an Brustkrebs. Sein Vater, der bis Ende der 1980er Jahre alkoholabhängig war, blieb daraufhin alleinerziehend und reglementierte das Zusammenleben und -wirken der Familie mit „eiserner Hand“.