Pocházel ze šlechtického rodu Harrachů, patřil k rakouské linii sídlící na zámku Rohrau v Dolním Rakousku. Pocházel z početné rodiny císařského nejvyššího lovčího hraběte Karla Antonína Harracha (1692–1758) a jeho manželky Marie Kateřiny Buquoyové (1701–1768), měl dvanáct sourozenců. Od mládí sloužil v císařské armádě, souběžně byl od roku 1751 členem Řádu německých rytířů. Na počátku sedmileté války byl již podplukovníkem, bojoval v bitvě u Kolína (1757), téhož roku byl zraněn a zajat u Vratislavi. V roce 1758 byl povýšen na plukovníka, o rok později byl znovu zraněn v bitvě u Kunersdorfu (1759). Zúčastnil se dobývání Landeshutu a se zprávou o pádu pevnosti byl poslán do Vídně. V roce 1765 dosáhl hodnosti generálmajora a nakonec byl v roce 1773 povýšen do hodnosti polního podmaršála. Po roce 1775 žil několik let v Praze, jeho pobyt zde je doložen smlouvou o pronájmu devítipokojového apartmá v paláci Kinských v Nerudově ulici. Postupoval také v hierarchii Řádu německých rytířů a nakonec byl v letech 1787–1800 zemským komturem řádu pro rakouské země. Byl též c. k. tajným radou a komořím. Po smrti staršího bratra Františka (1720–1768) se stal seniorem rakouské větve Harrachů a náležel mu dědičný úřad nejvyššího štolby v Dolním Rakousku. Jako řádový rytíř zemřel svobodný a bez potomstva.