革命中的内人党事件中，拉苏荣家也遭到不幸。拉苏荣的父亲是位喇嘛，早年曾在印度、尼泊尔、巴基斯坦等地传教，精通蒙古文、藏文、汉文、印地语四种语言，后来取得藏传佛教格西学位。因为常到寺庙讲经，并常同国外僧人来往信件，拉苏荣的父亲在内人党事件中被诬为里通外国的印度特务，被割去舌头后投入黄河而死亡。因受内人党事件影响，在拉苏荣的父亲去世前，拉苏荣的妻子便已同拉苏荣离婚。拉苏荣的父亲死后，拉苏荣用微薄的工资养活母亲及两个正在上学的妹妹，拉苏荣和前妻还育有儿子。1979年，拉苏荣同周秉建结婚。1994年，拉苏荣和妻