Det var opprinnelig meningen at Leopold Joseph skulle tre inn i de geistliges rekker, men dragningen mot en militær karriere ble for sterk. Både hans far og hans farfar hadde vært fremstående generaler i den keiserlige hæren. I 1718 tjenestegjorde han i sin fars regiment i kvadrupelalliansekrigen på Sicilia. I 1734-1735 deltok han i kamper i Italia og på Rhinen i den polske tronfølgekrigen; da hadde han allerede obersts grad. Under den russisk-østerrikske tyrkerkrig i 1737-1739 ble han utnevnt til "Feldmarschallleutnant" (generalmajor).