Nato vicino a Seghedino, Joe emigra con la famiglia, dopo la rivoluzione del 1956, dall'Ungheria comunista al Regno Unito, nel Cambridgeshire. Negli anni scolastici è un eccellente pugile, e nel 1964 vince i campionati giovanili.