。辰蛮侵扰邵阳，何异募山丁逮捕首乱者，瑶族起义军首领蒲来矢以众来降。不久为浙西提点刑狱。召为太常少卿，改秘书监兼实录院检讨官，权礼部侍郎、太常寺。太庙长出芝草，韩侂胄率百官观看，何异说其色白，担忧产生兵妖，韩侂胄不悦。宋宁宗庆元二年（1196年），知绵州王沇上疏请置伪学之籍，何异被列入“伪学逆党”之中。因先前获罪被贬的主管玉局观刘光祖与何异交往密切，言官就弹劾何异身为谏官时不弹劾宰相留正并接受刚被罢相的赵汝愚推荐，使得何异被罢官，久后才被授予祠禄官。何异后被起用知夔州兼本路安抚。何异因夔州地方狭窄、粮食