南的政府机关要求随同日本军民撤回日本本土，但皆因其台湾籍身分遭拒绝；随后，他与宁氏细（）结婚。1992年，吴连义向日本驻河内大使馆申诉要求日本政府负起责任将其送回台湾，但再度遭拒。1994年，吴连义在日本媒体与嘉义农林学校校友协助下，经确认其在台户籍，在太平洋战争结束后首次返回故乡探视亲人，并随后再度返回越南宁平省的一个农村。2006年12月14日，吴连义逝世于越南自家住宅；但是人们在12月25日才发现他已离世。