初获调补佐着作郎。太元四年（379年），谢玄升冠军将军，加领徐州刺史，镇京口时，请殷仲堪为参军。后转为长史，并得对方厚待。而殷仲堪亦曾写信给谢玄，建议他安抚怀柔北方士民，以取悦其心，配合军事行动瓦解北方政权的对抗之心，以图统一。谢玄亦十分同意。及后领晋陵太守，任内禁止生了儿子不报告、人死了久久不下葬和以父母为人质而自己逃亡的行为，所下达的法令亦甚有义理。
为帝宠臣.后被召为太子中庶子，又领黄门郎，受晋孝武帝宠信。当时孝武帝见会稽王司马道子宠信阿谀奉承的王国宝等人，认为他并非才堪治理