Joe vivió en North Hollywood la última parte de su vida con Jean Sullivan, con quien se casó el 28 de diciembre de 1966.