那个圆滑、笑容满面又油腻的上帝之人」（that smooth, smiling, oily man of God）。1826年3月29日，阿珀姆与牧师的女儿安·苏珊·霍姆斯（Ann Susan Holmes）成婚，后来成名的美国诗人兼医学家老奥利弗·温德尔·霍姆斯是他的小舅子。阿珀姆夫妇定居于麻萨诸塞州塞勒姆，夫妻俩共生下15个儿女，但只有4个活到成年：小查尔斯·温特沃思·阿珀姆（Charles Wentworth Upham Jr.；1830年－1860/1861年）、威廉·费尼尔司·阿珀姆（Will