当时已经爆发了全面抗日,杨根思家乡的不少父老都在讲述着新四军抗日的事迹,在了解多了之后杨根思心中也生出崇敬之情。1944年2月,他正式加入了新四军,“杨根思”这个名字也与他参军时的登记有关。当时负责登记的工作人员问他叫什么名字,因为他的口音太重,导致对方把羊庚熙误听成了杨根思,此后就一直将错就错了下来。杨根思虽然从小没经过系统学习,大字不识几个,但却是一个极有军事天赋的人,参军的当月就进行了首次作战,当时军中装备简陋,杨根思就用一根长矛刺死了一名国民党士兵,获得了人生第一杆枪。1945年,杨根思在一次战斗中用两枚手榴弹炸掉敌人重机枪把守的哨口,为部队扫清障碍,后被评为团战斗模范、华东爆破大王,并于该年成功入党。1946年,杨根思在攻打泰安天主堂的战斗中表现英勇,虽然眼睛受伤但仍冲锋在前,用18颗手榴弹攻下了全城制高点天主堂,此战之后首次被获得“战斗英雄”称号。
此后更是利用高超的爆破技术屡立奇功,比如:三次运送拉雷炸毁敌军碉堡,急中生智俘虏敌军一个排等等。也多次受到表彰,获得“华东一级战斗英雄”、“华东三级人民英雄”等荣誉称号。