Pocházel ze šlechtického rodu Trauttmansdorffů, byl třetím synem knížete Ferdinanda Trauttmansdorffa (1749–1827) a jeho manželky Marie Karolíny, rozené Colloredové (1752–1832). Narodil se v Bruselu, kde byl jeho otec tehdy místodržitelem. Josef díky otci od svých devatenácti let působil v diplomatických službách a již v závěru napoleonských válek získal svůj první post vyslance (v letech 1815–1818 byl rakouským vyslancem v Bádenském velkovévodství). V letech 1818–1820 byl vyslancem ve Württemberském království a poté v letech 1820–1827 vyslancem v Bavorsku. V rámci rakousko-pruských vztahů měl pak dlouholetou důležitou úlohu jako vyslanec v Prusku (1827–1849). Vyslanecký post v Berlíně opustil v revolučním roce 1849 a od té doby žil v soukromí. Byl c. k. tajným radou (1832), komořím (1810) a čestným rytířem Maltézského řádu, v roce 1861 byl jmenován doživotním členem rakouské panské sněmovny.