976年，他出任驻东德大使，1981年又担任联合国大会副代表。1991年2月21日，约翰·谢尔曼·库珀在哥伦比亚特区的养老院逝世，享年90岁，身后遗骨下葬在阿灵顿国家公墓。
早年生活.约翰·谢尔曼·库珀于1901年8月23日在肯塔基州萨默塞特出生。他的父亲也叫约翰·谢尔曼·库珀，母亲叫海伦·格特鲁德·库珀（），塔塔尔（）是母亲的娘家性，小约翰在两人的7个孩子中排行第2，也是第1个儿子。1790年左右，玛拉基·库珀（）和爱德华·库珀（）兄弟俩跟随丹尼尔·布恩的脚步，从南卡罗莱纳州沿荒