004年9月，王毅与武大伟互调，王毅担任驻日大使。然而随着小泉首相有意进一步激化矛盾，中日双方在钓鱼岛问题、日本历史教科书问题、东海油气田问题上连续出现对抗。2005年3月至4月，中国多地爆发反日示威活动。2005年5月23日，正在日本访问的国务院副总理吴仪以“要回国处理紧急公务”为由，突然取消原定与日本首相小泉纯一郎的会见。当日晚，外交部发言人孔泉称：“在吴仪副总理访日期间，日本领导人连续就参拜靖国神社问题发表不利于改善中日关系的言论，中方感到十分不满。”在他的努力下，2006年10月，新任日本首相安倍晋