自费聘请大批保镳随行。喜欢于豪宅内坐龙椅，脚踏狮头虎皮，与大批仅穿着比基尼泳衣的选美参赛女子合照，宛若古代帝王选妃。虽赢得「选美皇帝」封号，但也引起社会议论纷纷。唐日荣卸任中华民国选美协会理事长后，是非不断，与也是选美比赛出身的继任者模特儿姜文淑传出感情及财务纠纷。唐姜两人多次对簿公堂互揭疮疤，选美活动也因而在台湾停办。唐日荣晚年落魄，与妻子离婚，官司缠身，负债累累，健康情形也急速恶化。1998年初，唐日荣于台中荣民总医院住院开刀时，竟然找不到家属签署手术同意书。同年10月29日凌晨，唐日荣因肾衰竭