后主即位，加给事中。殷不害南归时，北周留下其长子殷僧首，殷僧首就住在关中。祯明三年（589年），隋朝灭陈，殷僧首来迎父亲，殷不害在路上去世。
家族.胞弟：殷不疑，早亡。胞弟：殷不占，早亡。胞弟：殷不齐，早亡。胞弟：殷不佞。长子：殷僧首。次子：殷英童，出继殷不占。任北周御史大夫，封建安县开国男。孙：殷峤，殷僧首子，或以字行称殷开山。孙：殷秦州，殷僧首子。孙：殷闻礼，殷英童子。曾孙：殷令名，殷英童孙、殷闻礼子。