托扬诺夫再度出征，第一轮获得34.9%的支持，落后拥有36.3%票数的格奥尔基·珀尔瓦诺夫、居次位作收，最后亦以46.7%对53.3%在第二轮败给珀尔瓦诺夫。卸下总统一职后，斯托扬诺夫曾避开媒体，沉寂了一段时间。2004年9月斯托扬诺夫担任欧安组织摩尔多瓦特使，2005年回归政治活动，当选为第40届国民议会议员，他是欧洲一体化委员会和国家政府事务委员会成员。2005年10月1日当选民主力量联盟主席。2007年5月20日欧盟议会选举中，保加利亚民主力量联盟未能当选，22日他引咎辞去民主力量联盟主席职务。