菲洛夫当时在1918年自愿加入仍未成形的红军，并担任由夏伯阳率领的的其中一个排长。1919年3月，该师被派往乌拉尔山脉对抗由亚历山大·杜托夫指挥的哥萨克白军。同年秋天，潘菲洛夫所属的团转往察里津，参加对阵安东·邓尼金部队的战役。在战事期间，他因确诊患上斑疹伤寒而被迫辙离至军队后方。在1920年4月康复后，潘菲洛夫自愿回到现役，随后被任命为第100步兵团的排长参与波苏战争，并在同年9月加入苏联共产党（党员编号：0291274）。鑑于其在战争中有着出色表现，他在1921年获颁红旗勋章。之后潘菲洛夫加入乌克兰