于道光二十六年 (1846年) 公推广兴的廖贺、埔姜崙廖拔琦、下湳廖文江、廍仔廖荣捷、港尾廖子牌、西螺廖裕贤、廖秋红等八人为建祠委员，积极推动募款筹建，并获得族人热烈响应，有钱出钱，有力出力，并在西螺保 (现今西螺镇) 下湳购置五甲地，做为建庙之地。道光二十八 (1848年) 年开始动土兴建，道光二十九年 (1849年) 冬总时一年半完工，并盛大举行落成大典及祈安清醮，将宗祠堂号命名为继述堂，此为「张廖家庙崇远堂」前身。光绪十七年 (1891年)「继述堂」遭受强烈台风的侵袭而摧毁。大正七年 (1