子结婚，而第二任妻子任职《成报》法庭版编辑的刘蕙芳，2005年因急性肝硬化引致内出血身故，终年43岁。妻子突然离世，令林尚义大受打击，并决定于2005年8月中与无线电视合约届满后退休，及后被无线挽留至2006年世界盃。2006年7月10日凌晨，林尚义在奥海城完成2006年世界盃决赛旁述后，正式宣佈退休，当晚无线在直播球赛前后均以他荣休为节目内容。同年，林尚义接受医生建议成功戒烟，结束数十年的吸烟习惯。2009年4月23日早上11时，林尚义被儿子发现在天后侨兴大厦住所内昏迷不醒，被送往律敦治医院抢救，延至