德森精通法语、义大利语和德语。他曾结了三次婚。第一任妻子贝蒂·乔丹（Betty Jordan）于1939年结婚，并育有五个小孩；第二任妻子薇拉·卡莱尔（Vera Carlsilse）于1969年结婚，育有一个小孩；第三任妻子为演员，而她的两名孩子萝莉·荷登和也为此成为了安德森的继女及继子。安德森的儿子与大卫·安德森（David Anderson）则分别是名演员及电影监制。安德森于2018年4月25日因心脏病去世，享耆寿98岁。