卸任中华民国选美协会理事长后，是非不断，与也是选美比赛出身的继任者模特儿姜文淑传出感情及财务纠纷。唐姜两人多次对簿公堂互揭疮疤，选美活动也因而在台湾停办。唐日荣晚年落魄，与妻子离婚，官司缠身，负债累累，健康情形也急速恶化。1998年初，唐日荣于台中荣民总医院住院开刀时，竟然找不到家属签署手术同意书。同年10月29日凌晨，唐日荣因肾衰竭病逝于台北市立中兴医院（今台北市立联合医院中兴院区），享年58岁。2008年8月间，媒体报导，唐日荣生前所拥有的加长型劳斯莱斯大礼车，目前被台北市内湖区庄姓古董商收藏。