井在朝鲜绑架日本人问题上的不当主张、与朝鲜的暧昧关系、辻元清美事件的影响等，社民党再次遭遇惨败，土井引咎辞职。
引退后.2005年大选，土井落选众议院议员。一开始土井强烈否认自己会从政界引退，但随后的2007年参议院选举和2009年大选她都没有参选，事实上已经引退。
去世.2014年9月20日因患肺炎在兵库县内医院去世，享寿85岁。