细的考察，决定让科南特接任哈佛第23任校长。1933年5月，科南特正式成为哈佛校长，直至1953年科南特的校长任期结束，此后一直为名誉校长。1953年离开哈佛后，科南特接受艾森豪威尔的任命，任驻德国波恩高级外交官。作为高级外交官，他要处理美国和苏联、英国、法国三个大国之间的关系。1955年到1956年，科南特被艾森豪威尔再次任命为驻德国西柏林大使，负责西德的军备和北大西洋公约军事力量的加强。1956年，从德国归来后，科南特推掉了驻印度大使的任命，开始专心公立教育的改革，尤其是他引以为豪的公立中学。