此后一直为名誉校长。1953年离开哈佛后，科南特接受艾森豪威尔的任命，任驻德国波恩高级外交官。作为高级外交官，他要处理美国和苏联、英国、法国三个大国之间的关系。1955年到1956年，科南特被艾森豪威尔再次任命为驻德国西柏林大使，负责西德的军备和北大西洋公约军事力量的加强。1956年，从德国归来后，科南特推掉了驻印度大使的任命，开始专心公立教育的改革，尤其是他引以为豪的公立中学。1965到1969年，应卡内基基金会之约，科南特从事自传的写作，由于健康状况与家庭琐事的干扰，不得不逐渐削减外事活动。