为失志而心神恍惚，竟没有去拜访何无忌。何无忌因而认为是殷仲文轻视自己，于是大怒，并趁当时南燕南侵东晋，向刘裕说：「桓胤和殷仲文是心腹之患，南燕比起来根本不足以担忧。」义熙三年（407年）闰二月，刘裕府将骆冰图谋作乱失败被杀，而殷仲文则被指与永嘉太守骆球、桓胤等人谋反，皆被诛杀。