ספ ובוב, אחיו של ג'וק, היו גם כן כדורגלנים מקצוענים. בנו, ג'ון "ג'יי ג'יי" רתרפורד, היה שחקן של ארסנל באותה תקופה כמו אביו, אך השתתף רק במשחק ליגה אחד. גרג רתרפורד, נינו, הוא אתלט שזכה מטעם הממלכה המאוחדת במדליית כסף בקפיצה לרוחק במסגרת אליפות אירופה באתלטיקה 2006.