Totleben wurde zunächst auf der Kadettenschule in Riga, dann von 1832 bis 1836 auf der Ingenieurschule in St. Petersburg ausgebildet. Im Jahr 1837 trat er als Unterleutnant in das Geniekorps ein und kämpfte von 1847 bis 1850 im Kaukasus. Er nahm als Stabshauptmann an den Belagerungen der Tschetschenen-Festungen Salti und Tschoch teil und war dann während des Krimkriegs ab 1854 als Oberstleutnant an der Seite des Generals Karl Andrejewitsch Schilder bei der Belagerung von Silistra tätig.