Totleben valmistui insinööriupseeriksi 1836. Hän osallistui Kaukasian sotaan 1848–1850 ja Krimin sodan alussa vuonna 1853 hän johti Silistran kaupungin piiritystä Tonavan suulla. Parhaiten hänet muistetaan Sevastopolin kaupungin nerokkaasta ja pääosin improvisoidusta linnoittamisesta kaupungin ollessa piiritettynä Krimin sodassa. Totleben johti Sevastopolin linnoitusöitä piirityksen aikana syyskuusta 1854 kesäkuuhun 1855, jolloin hän haavoittui. Hän keksi muun muassa upottaa laivoja kaupungin edustalle sataman tukkimiseksi viholliselta ja siirsi laivojen tykit mantereen puolelle kiireellä rakennettuihin linnoituslaitteisiin. Haavoittumisen vuoksi hän ei ollut läsnä Sevastopolin kukistuessa. Totleben yleni Sevastopolin piirityksen aikana everstiluutnantista kenraalimajuriksi. Myöhemmin hän toimi armeijan insinöörikunnan esikuntapäällikkönä ja ylitarkastajana, ja sai 1860 ylennyksen kenraaliluutnatiksi sekä 1869 insinöörikenraaliksi. Turkin sodassa vuosina 1877–1878 Totleben johti Plevnan piiritykseen liittyneiden saartotoimenpiteiden suunnittelua. Hänet kutsuttiin apuun syyskuussa 1877, kun kolme peräkkäistä yritystä Plevnan valtaamiseksi olivat epäonnistuneet. Totlebenin suunnittelema saarto johti kaupungin kukistumiseen joulukuuhun mennessä. Vuonna 1878 hänet nimitettiin koko Venäjän kenttäarmeijan komentajaksi sodan loppuvaiheessa. Totleben nimitettiin 1879 Odessan ja 1880 Vilnan kuvernementin kenraalikuvernööriksi. Hän sai 1879 kreivin arvon.