Von Toll comenzó su carrera militar en 1796 después de un período en el cuerpo de cadetes de infantería bajo el mando de Mijaíl Kutúzov. La primera vez que participó en una batalla fue entre 1799 y 1800, donde partió bajo las órdenes de Aleksandr Suvórov y combatió en la guerra de la Tercera Coalición en 1805. Luchó en Austerlitz y en la Guerra de la Sexta Coalición, especialmente en Leipzig. En 1812, fue nombrado Intendente General del Primer Ejército y ordenó la evacuación de Moscú. Posteriormente dirigió a las tropas en Brienne y Fère-Champenoise, y entró en París en 1815.