Joseph Maria van Colloredo was een zoon van Rudolf Jozef van Colloredo-Mels. Von Colloredo wist zich te onderscheiden tijdens de Zevenjarige Oorlog, met name in de Slag bij Praag en de Moys. In Breslau zat hij enige tijd in gevangenschap. In 1763 werd hij tot generaal-majoor verheven. Zes jaar later kreeg hij het commando over zijn eigen compagnie. Hij wist zich al snel in het leger verder omhoog te werken en kreeg een plaats in de oorlogsraad. In die hoedanigheid vergezelde hij keizer Jozef II in 1777 naar Frankrijk. Als ridder van Malta zijnde weigerde hij om ridder te worden in de Orde van Maria Theresia.