。同年臧质等人被消灭，殷琰得罪被囚于尚方，但不久就获赦免，并获除海陵王国的郎中令，但他没有接受。大明四年（460年），年仅五岁的刘子顼担任冠军将军、吴兴太守，殷琰就获授为其录事参军，行郡事。后殷琰历迁豫州别驾，太宰户曹属、丹阳丞、尚书左丞、少府、寻阳王刘子房的冠军司马兼行南豫州事、右军司马兼行南豫州事及巴陵王刘休若的左军司马。永光元年（465年），宋前废帝以殷琰为黄门侍郎，后又调其为山阳王刘休祐的右军长史，加南梁郡太守。不久休祐被召入朝，殷琰仍留豫州，行府州事。同年年末，宋明帝因政变而即位，调休祐为荆州