几年，他就在保防部施压下被迫离职。再度四处求职又总是遭拒后，他决定在昔日长官建议下前往基隆港务局任职，并从此展开居住于拖船及游艇上数十年的生活。往后，他仍得面临警察经常前来访查刁难，并因而决定不要结婚。1987年台湾解严后，他透过红十字会尝试寻找在中国大陆的亲友，并最终寻得简阳家人的联络地址，又联络上三哥和弟弟。1990年开放探亲后，他与友人与同事相约返乡，前往四川及成都等地与亲人会合。此外，他也在退休后与一位熟识的寡居妇人和其家庭同居。