国民党。陈由豪在美国召开记者会，声称曾与沈富雄一同至陈水扁家中，将政治献金交给吴淑珍，沈富雄低调证实，但吴淑珍则反驳此事。2004年4月沈富雄在记者会中表示「爱台湾不能当作竞选主轴」而引起广大回响，虽然得到舆论过半支持，但也遭受民进党忠实支持者和媒体人汪笨湖等的强烈批判。2004年立委选举，北市南区应选十席，亲民进党阵营提名六席，但亲民进党阵营之选票只够支持四席，当时原本民调领先的沈富雄意外落选。沈富雄原本自认可吸引到中间选民甚至亲国民党选民的支持，但是最后仍失败。2006年，沈富雄原欲参选台北市长