特森于1920年8月19日出生在苏格兰福尔柯克市雷丁村的一个煤矿工人家庭，除他之外，父母还有两个孩子。派特森十岁时，搬到邻近的劳里斯顿，在福尔柯克中学读书。他是普利茅斯弟兄会的成员。他在回忆录《上帝的弄臣》（）提到，他在17岁重病时感到了自己要面对杜斯妥也夫斯基式的选择，在上帝与马克思之间选择一个，而他决定献身给上帝。帕特森13岁时离开福尔柯克中学，到福尔柯克技校学习工程，并在当地卡龙工程公司当学徒从事武器生产，直到第二次世界大战结束。战后他读到瑞典探险家斯文·赫定的书《Trans-Himalaya: