所很贫穷。有弟五人，皆幼弱。殷不害擅长书画，侍奉老母，抚养小弟，勤劳无所不至，士大夫称他笃行（行为淳厚、纯正踏实）。
效力南梁.十七岁出仕南朝梁为廷尉平（廷尉的属官），长于政事，又以儒术修饰，发现法律轻重失当的就上书，多被采纳。大同五年（539年），迁皇子湘东王萧绎镇西将军府记室参军，不久以本官兼东宫通事舍人。时朝政多委东宫太子萧纲，殷不害与舍人庾肩吾在值班日奏事，梁武帝曾对庾肩吾说：“卿是文学之士，吏事非卿所长，何不让殷不害来呢？”其被武帝所知如此。萧纲因殷不害善事亲，赐殷母蔡氏