，但也很有气魄才干。宋文帝在位后期，殷孝祖当过奉朝请，员外散骑侍郎。宋孝武帝登位后，看中他的军事才干，以他为奋武将军、济北太守。后入朝任积射将军。大明二年（458年），北魏入侵，孝武帝以时任青冀二州刺史的颜师伯统领诸军迎敌，并派了殷孝祖北上支援。殷孝祖于清河以东修筑了两座城，遭魏将封敕文进攻，清口戍主傅干爱率众击退魏军；后殷孝祖又斩杀窟瓖公，频败魏军。魏军最终败退，孝祖获授太子旅贲中郎将，加龙骧将军。大明三年（459年），竟陵王刘诞于广陵起兵反对孝武帝，殷孝祖当时正从青州南归，孝武帝下令其经过广陵时加入