家纪念汉奸忠烈祠不成，现在又盖花园纪念辜显荣了。」此时舆论似乎对意识形态的问题不大关心，而未引起多大轰动。但后来爆发了「荣星花园弊案」。 1985年，荣星企业由辜伟甫之子辜晏宏接手，以新台币8亿元价格三次公告拍卖荣星花园，均无人问津。最后辜伟甫之弟辜宽敏接手并出任荣星企业董事长，后来找侨福建设董事长黄週旋合作，计划开发投资达新台币200亿元的荣星花园。 1987年6月，荣星企业将荣星花园投资计画送到台北市政府审批，先后7次被退回，也无人问津。1988年，荣星花园开发案被揭发涉嫌官商勾结与索贿，在社会