005年初时几乎提前退役，幸而最后成功加盟上海中邦，不过他仍然得到天津球迷的喜爱，甚至在代表球队做客天津时任意球破门还得到了全场球迷的喝彩。2007年，张效瑞又在联城申花大合并中成为了上海申花的球员，但是并未能占据主力位置。2008年，张效瑞来到了郝海东的天津松江，成为主教练兼球员，率队参加乙级联赛，自己在场上也有任意球破门和精彩助攻，但是最终球队未能冲入甲级。2009年赛季初，张效瑞表示将不再上场比赛占用超龄球员名额，而是专心主教练的工作，就此退役。2010年赛季开始前，天津松江宣布聘请外籍主教练，张