，社民党终止和自民党政府的阁外合作。2000年至2008年期间担任社会党国际的副议长。2002年，土井的近侧辻元清美涉嫌挪用自己的政策秘书的薪金被逮捕，而土井的政策秘书五岛昌子也涉嫌教唆辻元一同被捕。事件对土井的声誉造成很大打击。2003年众议院议员总选举，由于以往土井在朝鲜绑架日本人问题上的不当主张、与朝鲜的暧昧关系、辻元清美事件的影响等，社民党再次遭遇惨败，土井引咎辞职。
引退后.2005年大选，土井落选众议院议员。一开始土井强烈否认自己会从政界引退，但随后的200