自南京迁至四川。随后其父母离异，其母携一双儿女生活。1942年，潘君密被其母送入私塾。同年秋，入重庆市抗战军人子弟教养院。1948年秋，潘君密被其母送往台湾，投奔其母的结拜姐妹谢振庸三姨。此后，他先后当装甲兵、外事警察。1953年，警察潘君密考取国立台湾大学外文系和新闻研究所的新闻学硕士。1959年冬，潘君密参加台湾外交领事人员特种考试，入中华民国外交部。1964年，潘君密赴贝宁任外交官。不久，中华人民共和国同贝宁建交，中华民国降旗撤馆。此后，他先后在菲律宾、墨西哥、巴拿马、哥伦比亚、巴拉圭等国任外交官