Seine Ausbildung erhielt Toll im russischen Kadettenkorps (1782–1796), wo er in Kontakt mit Michail Kutusow kam, der damals Direktor der Kadettenanstalten war. 1796 trat er in die Kaiserlich Russische Armee ein, nahm 1799 an dem Feldzug von Alexander Wassiljewitsch Suworow teil, kam 1805 in den Generalstab, kämpfte bei Austerlitz, dann gegen die Türken, war 1812 Generalquartiermeister Kutusows, 1813 von Michael Andreas Barclay de Tolly, wurde anlässlich der Völkerschlacht bei Leipzig Generalleutnant, 1823 Generaladjutant des Zaren und Chef des Generalstabs der 1. Armee sowie 1825 General der Infanterie.