律师林义雄、姚嘉文控告林荣三贿选。林义雄与姚嘉文于1976年合着《虎落平阳？：选战、官司、郭雨新》一书（林义雄、姚嘉文1977年出版），记录当时林荣三如何以贿选、买票、作票等手段使郭雨新落选，也记录选后的选举官司与诉讼经过。1977年，林荣三加入中国国民党。1978年，林义雄与姚嘉文合着《古坑夜谈：雨伞下的选举》一书（林义雄、姚嘉文1978年出版）再次记录林荣三如何使郭雨新落选，但此书于同年11月被查禁。1978年，在其兄林堉琪过世后，进行分家。林荣三以联邦建设为核心，形成联邦集团。林荣三通过购买《