庆市抗战军人子弟教养院。1948年秋，潘君密被其母送往台湾，投奔其母的结拜姐妹谢振庸三姨。此后，他先后当装甲兵、外事警察。1953年，警察潘君密考取国立台湾大学外文系和新闻研究所的新闻学硕士。1959年冬，潘君密参加台湾外交领事人员特种考试，入中华民国外交部。1964年，潘君密赴贝宁任外交官。不久，中华人民共和国同贝宁建交，中华民国降旗撤馆。此后，他先后在菲律宾、墨西哥、巴拿马、哥伦比亚、巴拉圭等国任外交官，又多次经历降旗撤馆。1975年蒋介石病逝，其子蒋经国于三年后继任总统。潘君密认为这是封建落后