主持祭祀，不能计算作别籍而逃避差役。属吏皆佩服他。后来朝廷征召益州刺史郭铨，犍为太守卞苞因劝郭铨谋反而被殷仲堪处决，但殷仲堪亦因未能预防而被降号鹰扬将军。后又发生水灾令江陵数千户人受灾，殷仲堪被指隄防不严而再被降为宁远将军。太元二十一年（396年）晋安帝继位，升殷仲堪为冠军将军，但殷仲堪辞让。当时南郡公桓玄因在建康任官不得志而留在封国，并因着父叔在荆州的威望而横行，当地人怕桓玄更甚于殷仲堪。而殷仲堪亦对他心存畏惧，与他结交；而桓玄亦打算借助其军力而讨好对方。
响应王恭.隆安