养老院与世长辞，享年90岁。他的第二任夫人洛林已在1985年2月3日去世。1991年2月26日，肯塔基州的两位联邦参议员（温德尔·H·福特和米奇·麦康诺）在参议院发表演说，称颂库珀的功绩，参议院随后休会纪念库珀。库珀的遗体下葬在弗吉尼亚州阿灵顿县的阿灵顿国家公墓。库珀在担任参议员期间长期支持农村电气化，东肯塔基州农村电气合作公司因此更名约翰·谢尔曼·库珀电站以示纪念。1999年，《列克星敦先驱领袖报》（）在报道中称，库珀是20世纪最具影响的肯塔基人之一。2000年，东肯塔基大学肯塔基州历史和政治中心设立