肯色州的泉源山（Fountain Hill），是高中教师Samuel Jackson和他第一任妻子Crystal Lee King的长子，他有两个弟弟Luther和Lawrence以及一个妹妹Verna。他的父母在他12岁那年离婚，他随父亲移居到加利福尼亚州的奥克兰。18岁他移居到印第安那州并且结了婚，但婚姻只维持了几个月，并无子女。离婚1年后他结识了现任妻子凯瑟琳·伊瑟·斯库瑟。1949年他们在盖瑞市结了婚。两人结婚后，约瑟夫曾经致力于当一名拳击手但不久便放弃，接受了另一份工作，成为了盖瑞市无