公祠于清朝同治十一年(1872年)由白纶生出资兴建，光绪二十五年(1899年)落成，建成时白纶生已经逝世，为纪念其故称纶生白公祠、俗称白家祠。1993年被公布为广州市文物保护单位，2002年7月17日纶生白公祠含“乐善好施”牌坊晋升为第四批广东省文物保护单位。