爱尔兰人，其母为英格兰人。其弟为历史学家佩里·安德森。其祖母法兰西斯·安德森（Frances Anderson），来自一个长期支持爱尔兰独立运动的家庭，外曾祖父为梅杰·普赛尔·奥格曼（Major Purcell O'Gorman）。其祖父来自于爱尔兰沃特福德郡，其家族为苏格兰安德森家族的后裔，在1700年代移居到爱尔兰。其祖父是大英帝国武官，奉派至英国海峡殖民地槟榔屿。其父在槟榔屿出生，是中国海关总税务司中的官员。安德森在中国昆明出生，在5岁时，其父亲带全家移民美国加州，安德森在此长大。9岁时，其父去世