不害被西魏军带走。永定元年（557年），南朝陈国建国后，殷不佞被任命为戎昭将军、娄县县令，居处之节，如始闻问，若此者又三年。后来，四兄殷不齐从江陵迎母丧柩归葬。殷不佞亲自搬土，手植松柏，每年的伏腊时节，必有三日断食不吃东西。永定3年（559年），文帝即位，殷不佞被任命为尚书左民郎，不就任。后为始兴王谘议参军、兼尚书右丞、转任东宫通事舎人。天康元年（566年），陈文帝崩，陈废帝嗣立，陈顼为太傅、录尚书辅政，甚为朝望所归。殷不佞素以名节自立，又受委东宫，乃与仆射到仲举、中书舍人刘师知、尚书右丞王暹等