妻子怀孕安胎，他陪妻在医院待产，确诊罹患糖尿病；于是在当红之际决定放下演艺工作，移居至中国上海市，投资经营餐厅。2004年，赵舜因投资失利，赔光所有积蓄，全家再搬回台湾。此时期的赵舜已负债近新台币三千万元，他曾开过保全公司、在南非做过鱼翅生意，也开过便当店、卖茶叶、拉保险等多种生意，均认赔收手，最后在菜市场摆摊卖凉面维生。回台湾期间，昔日演艺圈友人先后伸出援手，让赵舜在多出电视连续剧中客串演出还债；但赵舜在2005年第一次中风、2007年第二次中风、2009年第三次中风，故无法长期参与台湾连续剧的固