1961年1月20日にジョン・f・ケネディ政権が発足するとハリマンは無所任大使に任命され、次いで1961年には極東担当国務次官補に任命される。