往台湾，投奔其母的结拜姐妹谢振庸三姨。此后，他先后当装甲兵、外事警察。1953年，警察潘君密考取国立台湾大学外文系和新闻研究所的新闻学硕士。1959年冬，潘君密参加台湾外交领事人员特种考试，入中华民国外交部。1964年，潘君密赴贝宁任外交官。不久，中华人民共和国同贝宁建交，中华民国降旗撤馆。此后，他先后在菲律宾、墨西哥、巴拿马、哥伦比亚、巴拉圭等国任外交官，又多次经历降旗撤馆。1975年蒋介石病逝，其子蒋经国于三年后继任总统。潘君密认为这是封建落后的世袭制。1978年末，在中华民国驻巴拉圭使馆任内，潘君