Служебный рост Кимхи в «Моссаде» окончился на должности заместителя директора. Его шансы возглавить агентство не были реализованы из-за плохих отношений с действующим директором «Моссада» Ицхаком Хофи, и в 1980 году Кимхи расстался с разведкой. Премьер-министр Менахем Бегин назначил его генеральным директором министерства иностранных дел. Тем не менее и на новой должности Кимхи продолжал играть важную роль в секретных операциях Израиля. Среди прочих, с его участием принималось решение об операции «Мир Галилее», переросшей в Ливанскую войну, велись переговоры с маронитскими лидерами в Ливане о заключении мира с Израилем, осуществлялись секретные контакты между США, Израилем и Ираном, известные впоследствии как сделка «Иран-контрас», и восстанавливались дипломатические отношения между Шри-Ланкой и Израилем. После увольнения с государственной службы в 1987 году Кимхи возглавлял Израильский совет по международным отношениям, читал лекции в университетах и писал авторские колонки в израильских газетах. В 1997 году по инициативе Кимхи был создан Международный альянс за арабо-израильский мир, а в 2003 году он был одним из ведущих участников Женевской инициативы, в рамках которой были сформулированы возможные пути заключения такого мира. Он также был председателем расположенной в Цюрихе международной организации «Глокальный форум», занимающейся проблемами глобализации