Panfilow wurde 1915 von der zaristischen Armee zum Kriegsdienst an die deutsch-russische Front eingezogen. 1918 schloss er sich der Roten Armee an und nahm am Bürgerkrieg (1918–1920) als Angehöriger des 1. Saratower Infanterieregiments der 25. Tschapajew-Division teil. Er kämpfte gegen die Truppen Dutows, Koltschaks und Denikins sowie gegen die Weißpolen. 1920 wurde er Mitglied der KPR(B). 1923 schloss er die Kiewer Militärschule ab und war anschließend Kommandeur eines Bataillons, später eines Regimentes. 1937 wurde er Chef des Stabes des Mittelasiatischen Militärbezirks, 1938 dann Militärkommissar der Kirgisischen SSR. 1940 wurde er zum Generalmajor ernannt.