高义,原名高大扁,字子馥。清光绪五年(1879)出生于台北大龙峒。祖籍福建安溪县新康里大坪乡(今大坪乡大坪村)。其曾祖高生于清道光年间迁居台北,世代务农。高义3岁丧父,9岁失母,孤单一人,又眇一目,只好当童工糊口。及长,身材魁伟,膂力过人,留有八字胡。讲义气,重然诺,好打抱不平。
光绪二十一年(1895),中日《马关条约》签订,清政府把台、澎割让给日本,引发台湾民众的激烈反抗。高义、赖乾、简大狮等闻讯揭竿而起,组织义勇军,投入抗击日本占领军的行列。经数年血战,大小战斗上百次,牺牲很大,但也给敌人以很大杀伤。由于后援不继,饷械俱缺,处境非常困难。二十六年,高义、赖乾、简大狮等人不得不抢船内渡,暂避漳州,等待时机东渡,参与收复台湾。漳州知府曹本璋视高义等为浪民,在日本人的胁逼下,派役搜捕。简大狮不幸被捕,解往厦门,交日本驻厦领事馆转送台湾给日本占领军斩首。高义对清政府丧权媚外十分气愤。为了生存,高义偕同赖乾、陈瑞阳、周廷、周甚、卢海等返回安溪。四月间在安溪、长泰交界处的湖珠东磜土楼竖旗造反,宣称“反官不反民”。第一次在温仔岭抢劫一侨客,搜出白银三千元,他们只拿其中一千元,声称借作活动经费,人和余款放行。
三十一年,高义的队伍已扩大到一百多人,影响及于安溪、长泰、华安、漳平4县。地方当局对之无能为力。时安溪知县谢金元报准招抚,轻车简从,登门劝其投诚,取得一官半职,然后待机收复台湾,高义为其所动,接受招抚,由谢金元引见提督孙道仁。孙道仁对高义的抗日事迹深为嘉许,派他在麾下任卫队长,并改名为高义。