当局，慑于解放军恫吓，背弃双方之「寺马协定」，以执行国际公法为借口，其与部众被困于越北集中营，旋又南移富国岛，羁旅炎荒，历3年又半，其艰困为平生所未经，时有「海上苏武」美誉。1951年1月，任留越国军管训总处司令官，所有入越部队，悉受指挥。其部队后称为富台部队。1953年6月，与3万余军民安然返台，并整编为海军陆战队。1953年7月，蒋召见由越南归国之黄杰将军，垂询留越忠贞军民生活及撤运经过。8月，任台北卫戍司令；9月，晋升陆军二级上将。
台湾时期.1953年中，当年台北社子地