库珀于1901年8月23日在肯塔基州萨默塞特出生。他的父亲也叫约翰·谢尔曼·库珀，母亲叫海伦·格特鲁德·库珀（），塔塔尔（）是母亲的娘家性，小约翰在两人的7个孩子中排行第2，也是第1个儿子。1790年左右，玛拉基·库珀（）和爱德华·库珀（）兄弟俩跟随丹尼尔·布恩的脚步，从南卡罗莱纳州沿荒野之路经坎伯兰峡进入萨默塞特地区，在这里建立起显赫的地位。老约翰的父辈是坚定的浸礼宗教徒，曾于19世纪积极参与反奴隶制运动，老约翰的名字就源自使徒约翰和内战期间的北军英雄威廉·特库姆塞·舍曼。库珀家族非常积极地参与地方政治，