被迫离乡。1898年投笔从戎，投效天津淮军聂士成部队，入北洋武备学堂开平班学习步兵科。1902年入保定陆军速成学堂学习测绘科。1904年日俄战争前夕，清政府表面中立，暗中联日拒俄。日本驻清的军事顾问和段芝贵从北洋督练公所中选拔出吴佩孚、孟恩远、王怀庆等16名从武备学堂毕业的青年军官加入“倭人侦探队”与日本情报人员秘密组成「中日混合侦探谍报队」，前往烟台接受日本军官守田利远大尉训练，后到旅大等地化装成普通小贩模样刺探俄军情报。吴佩孚建议日军用多条普通渔船日夜不停地对俄军舰队进行骚扰、试探，趁其麻痹之际