薛蛮子生父陈于彤，1920年代入党，曾任董必武秘书，中共南方局西南地区特工系统联络人。生母黄纪与养母系亲姊妹，因养父薛子正无子遂过继。幼年住在北京头发胡同，13岁时养父薛子正因文化大革命被隔离审查，关入监狱。15岁时薛蛮子响应毛泽东的号召，前往内蒙古乌拉特前旗的一个村子做知青。在那里呆了两年，欠公社100多人民币，还曾摔断手臂。他之后逃回北京，依靠母亲的工资生活。1976年出狱的薛子正给时任国家文物局局长的王冶秋写信为薛蛮子找工作。王冶秋给他安排了文物出版社的杂志《文物》编辑部的工作，负责英文目录处理。