建于清道光二十七年（1847年），是盐水糖郊富商叶开鸿与其长子叶瑞西等人聘请唐山师傅来台耗时十年才完工，建材则是来自中国大陆的福州杉、砖瓦与石条。最初是一间兼作叶连成商号办公处的三进大厦，北侧还建有茶房，屋后则有花园。1895年乙未战争时，日本伏见宫贞爱亲王率领混成第4旅团约15000多名日军于10月10日登陆嘉义布袋口，与林德谦所率领的一营约500名黑旗军及麻豆谈少宗所率之300多人发生战斗，此时盐水港街（盐水之旧称）则在叶瑞西与乡绅翁煌南的率领下支援3000名义勇，但后来台湾义勇不敌日军而溃败，谈少