Joe Pantoliano var gift med Morgan Kester fra 1979 til 1985 (skilt). Sammen med henne har han tre barn. Han giftet seg i 1994 med Nancy Sheppard. Han har ett barn med henne.