后迁任司徒长史。后辞官隐居墓所近十年，虽多次获征命但都不应，当时人将他比作管仲和诸葛亮。庾翼任安西将军时亦曾请殷浩为司马，朝廷亦下诏任命为侍中和安西军司，但都不应；江夏相谢尚和长山县令王蒙都尝试劝他出仕，但都失败。当时重臣车骑将军庾冰和征西将军庾翼先后于建元二年（344年）和永和元年（345年）逝世。永和二年（346年）获衞将军褚裒举荐为建武将军、扬州刺史，殷浩仍上疏辞让，并写信给当时任抚军大将军、录尚书六条事，总理万机的会稽王司马昱，说明自己的理由。但司马昱仍劝殷浩出仕，四个月后，殷浩多番辞让后最终接受官