Joe y su hermana menor Ann-Marie crecieron en el pequeño pueblo de Hopedale en Massachusetts, donde su padre era contador y su madre era maestra de gimnasia en un colegio.