毕业于嘉义农林学校，随后进入台湾拓殖株式会社工作。1944年，吴连义被派往法属印度支那北部任职；他在太平洋战争末期被调到特务机关服务。太平洋战争结束后，他投入越南独立同盟会参加越南独立运动。1954年及1959年，吴连义二度透过向日本在越南的政府机关要求随同日本军民撤回日本本土，但皆因其台湾籍身分遭拒绝；随后，他与宁氏细（）结婚。1992年，吴连义向日本驻河内大使馆申诉要求日本政府负起责任将其送回台湾，但再度遭拒。1994年，吴连义在日本媒体与嘉义农林学校校友协助下，经确认其在台户籍，在