籍垦户陆续退出，因此姜氏家族获得了金广福大半的开垦成果，成为当地望族。1921年（日治大正十年），在族人姜瑞昌、姜振骧倡议下，开始施作家庙，历时三年完成。姜氏家庙初期有会馆功能，外地族人可在路经北埔时借为休息用餐处，也提供参与春秋祭典的族人住宿。太平洋战争期间，家庙左右厢房曾分别提供幼稚园和北埔国民学校充作教室；战事后期更被征收做为日军物资囤积处，前堂屋顶并为此架起机关砲防御。战后，1949年随国府迁台的移民佔用姜氏家庙的前堂与左右两厢做为住宅，因此虽然建物日渐老旧，但姜家不愿整修。1964年，左厢