Karl Wilhelm von Toll est le fils de Conrad Friedrich von Toll (1749-1821). Il entre dans la carrière militaire en 1796 après avoir étudié dans le corps de cadets d'infanterie commandé par Koutouzov, puis il entre à l'état-major. Il commence ses faits d'armes pendant l'expédition suisse de Souvarov en 1799-1800 et prend part à la guerre de la Troisième Coalition de 1805. Il combat à Austerlitz et pendant les campagnes de Turquie de 1806-1809, puis à la guerre de 1812, notamment à Leipzig. Il est nommé général-quartier-maître de la en 1812 qu'il commande jusqu'à l'évacuation de Moscou. Il est ensuite à la tête de ses troupes devant Brienne, Fère-Champenoise, jusqu'à l'entrée de Paris (1815).