Nacido en Lombardía en 1738, Colli se enroló en el ejército de la casa de Habsburgo como oficial de infantería en 1756 a la edad de 18 años. Durante la Guerra de los Siete Años, peleó en la Batalla de Praga en 1757 y en la Batalla de Torgau en 1760, y fue herido en la acción posterior. Recibió el título de noble Freiherr en 1764. En la Guerra de Sucesión Bávara lideró un batallón del Regimiento 48 de Infantería de Caprara con el rango de mayor. En 1779 fue nombrado "oberst" (coronel). Durante la Guerra Austro-Turca de 1787-1791 peleó en Osijek y Belgrado, donde fue herido nuevamente. Recibió el ascenso a "general-mayor" en diciembre de 1788. A partir de 1789 comandó la fortaleza de Josefov (Josefstadt).