有2个孩子。许多山人都娶印第安女子为妻。西部风景画家亚佛列德·雅各·米勒，于1850年画出想像中吉姆·柏瑞哲的婚礼情景。在1847年史称的事件中，包括吉姆·柏瑞哲的女儿在内的54名妇孺，被小马族及乌马提拉族印第安人绑架勒赎并遇害，柏瑞哲将他的几个孩子送回东部受教育。吉姆·柏瑞哲在其漫长的探险生涯中，与其他许多美国西部历史名人往来或认识，例如约翰·佛里蒙特（加利福尼亚州州长、参议员、亚利桑那州州长、共和党首位总统候选人、废奴主义者）、基特·卡森（西部拓荒者）、约瑟夫·密克（西部警长）、约翰·沙特（加州淘金