、庾信等十数人南返，周武帝只放还王克、殷不害等。诏除授殷不害司农卿，迁光禄大夫。太建八年（576年），加明威将军、晋陵太守。在郡染病，诏以光禄大夫征还养病。陈后主即位，加给事中。殷不害南归时，北周留下其长子殷僧首，殷僧首就住在关中。祯明三年（589年），隋朝灭陈，殷僧首来迎父亲，殷不害在路上去世。
家族.胞弟：殷不疑，早亡。胞弟：殷不占，早亡。胞弟：殷不齐，早亡。胞弟：殷不佞。长子：殷僧首。次子：殷英童，出继殷不占。任北周御史大夫，封建安县开国男。孙：殷峤，