举之后，土井宣布社民党退出联合政府，但保持阁外合作（信任投票）。但随自民党在众议院取回多数，与桥本龙太郎政府在安全保障、沖绳美军基地等问题上的冲突，1998年自民党参议院选举惨败后，社民党终止和自民党政府的阁外合作。2000年至2008年期间担任社会党国际的副议长。2002年，土井的近侧辻元清美涉嫌挪用自己的政策秘书的薪金被逮捕，而土井的政策秘书五岛昌子也涉嫌教唆辻元一同被捕。事件对土井的声誉造成很大打击。2003年众议院议员总选举，由于以往土井在朝鲜绑架日本人问题上的不当主张、与朝鲜的暧昧关系