Joseph Maria war ein Sohn des ersten Fürsten von Colloredo-Mels und Wallsee, Rudolf Joseph. Er zeichnete sich im Siebenjährigen Krieg mehrfach aus, namentlich bei Prag und in der Schlacht bei Moys, und geriet in Breslau für kurze Zeit in Kriegsgefangenschaft. 1763 zum Generalmajor befördert, erhielt er 1769 ein eigenes Infanterie-Regiment (No. 57) und stieg schnell zum Feldmarschallleutnant und Hofkriegsrat auf, begleitete 1777 Kaiser Joseph II. nach Frankreich und erhielt sodann die Generaldirektion der Artillerie. Zwar wurde er 1784 für den Maria-Theresia-Orden vorgeschlagen, doch lehnte er ihn mit der Begründung, er sei Malteserritter, ab.