1937年齐担任日军傀儡政府「华北临时政府京津卫戍司令」时，便与之断绝关系。日本占领北京后日本驻华特务机关首脑土肥原贤二亲自出马，前来拜会吴佩孚，引诱吴出山，被吴拒絶。1939年12月，吴佩孚于北平因吃羊肉饺子引发牙痛，由一日籍牙医替其拔牙，4日细菌感染，引发败血症而身亡。但江湖盛传，吴因拒绝日本人的游说，故日本人以毒药谋杀。也有另说称该日籍牙医实为日军指派以害死吴，家人得知消息连夜乘船逃往重庆。吴佩孚病逝前谆谆告诉国人:「汝辈读孔孟书，当知其义，孟子不云乎，小固不可以敌大，寡固不可以敌众，弱固不可