Johann Joseph Philipp Graf Harrach entstammte dem alten böhmischen Hochadelsgeschlecht Harrach. Sein Vater Ferdinand Bonaventura I. Graf Harrach (* 1637; † 1706) war während der Regentschaft von Kaiser Leopold I ein bedeutender österreichischer Diplomat. Er ließ das Palais Harrach in Wien erbauen und in Rohrau, dem Stammsitz der Familie, das in den Türkenkriegen zerstörte Schloss wieder errichten. Sein Bruder Franz Anton Fürst von Harrach (* 1665; † 1727) wurde 1702 Bischof von Wien und ab 1712 Erzbischof von Salzburg.