Trepov begynte sin militære karriere i 1831 ved å delta i nedkjempelsen av novemberoppstanden i Polen i 1830 og 1831. Han kommanderte deretter et kavaleriregiment i gendarmeriet i Kiev. Han utmerket seg under nedkjempelsen av et annet opprør i Polen i 1863–1864. Han ble noe beryktet i Warszawa for sin brutalitet.