父是东晋名士殷浩之父殷羡，虽然出身一流大族陈郡殷氏，但孝祖的祖父及父亲都寂寂无闻。殷孝祖曾参与抵抗北魏及讨伐竟陵王刘诞的战事，在义嘉之难时支持宋明帝，但在作战时战死。
生平.殷孝祖年轻时放纵，喜欢饮酒和女色，但也很有气魄才干。宋文帝在位后期，殷孝祖当过奉朝请，员外散骑侍郎。宋孝武帝登位后，看中他的军事才干，以他为奋武将军、济北太守。后入朝任积射将军。大明二年（458年），北魏入侵，孝武帝以时任青冀二州刺史的颜师伯统领诸军迎敌，并派了殷孝祖北上支援。殷孝祖于清河以东修筑了两座城，遭魏