Nato nel Governatorato di Tver' nell'odierno Seližarovskij rajon, Rotmistrov entrò nell'Armata Rossa nel 1919, e servi durante la Guerra civile russa, dove fu coinvolto nella repressione della Rivolta di Kronštadt e nella Guerra sovietico-polacca. Comandò in seguito un plotone e dopo una compagnia di fucilieri del 31º reggimento fucilieri della 11ª divisione fucilieri. Nel 1928 entrò nell'Accademia militare Frunze. Dal 1937 al 1940 fu istruttore all'accademia militare superiore di Mosca. Nel 1941 divenne capo dello stato maggiore del 3º corpo meccanizzato.