.1966年，辜振甫在工商界有了一定地位后，在庙旁建了一小亭供奉牌位立碑，并请一位中国国民党中央评议委员会委员写文纪念父亲辜显荣。此一事件被报刊披露，称有一名人为汉奸立碑，引起一阵震动。鹿港辜家赶忙拆亭毁碑，事态才未扩展。 1968年，辜振甫之弟辜伟甫兴建荣星花园，并成立「荣星企业股份有限公司」来管理。又被舆论提起，说：「辜家纪念汉奸忠烈祠不成，现在又盖花园纪念辜显荣了。」此时舆论似乎对意识形态的问题不大关心，而未引起多大轰动。但后来爆发了「荣星花园弊案」。 1985年，荣星企业由辜伟甫之子辜晏宏