大将军、仪同三司，王褒等也感其恩，忘了自己是客居北方。殷不害因丧母，从此吃蔬菜、穿布衣，形容枯藁、形销骨立，见到的没有不为他哀伤的。后来西魏被北周取代。保定元年（561年）四月，周武帝派时任治御正的殷不害出使南朝陈。
羁旅归国.建德四年（575年），因陈、周通好，南北流寓者各自获准回故国。陈朝请求王褒、庾信等十数人南返，周武帝只放还王克、殷不害等。诏除授殷不害司农卿，迁光禄大夫。太建八年（576年），加明威将军、晋陵太守。在郡染病，诏以光禄大夫征还养病。陈后主即位，加给事中。殷不害