I august 1918 ble Tolbukhin med i Den røde armé, der han tjenestegjorde som stabssjef i 56. infanteridivisjon. Etter at den russiske borgerkrigen ble avsluttet i 1921 ble Tolbukhin gitt en rekke militære posisjoner. Han gikk også ved Militærakademiet Frunze, der han tok eksamen i 1931. I 1937, etter en rekke stillinger, ble Tolbukhin gitt kommandoen over sin egen divisjon. I 1938 ble han stabssjef i Transkaukasus militærdistrikt.