亲Elizabeth Jackson（闺姓Montgomery）当时为工厂女工。积逊幼时母亲因工作关系把他送往田纳西州查塔努加与她的父母（即森姆的外祖父母）同住，因此积逊上的小学及中学均是种族隔离学校。积逊从三年级起到中学毕业，一直在学校乐团中吹法国号及小号。中学毕业后，积逊进入一所位于佐治亚州亚特兰大的传统黑人大学——莫尔浩司学院继续学业，主修海洋生物学。1968年，美国黑人民权领袖马丁路德金遇刺身亡，积逊是金博士在亚特兰大的丧礼中的领宾员（usher）之一，其后乘飞机到孟菲斯参加一个平权抗议游行。