杨异性格方直，拜他为益州总管府长史。不久除西南道行台兵部尚书，又复爲宗正少卿，除工部尚书。十二年（592年）九月，出任总管吴泉括婺四州诸军事、吴州刺史。当时晋王杨广镇守扬州，隋文帝让他每年与杨广见一次面，评论治政得失，开皇二十年九月二十七日，杨异卒于吴州总管任上，年六十八。
家族.《新唐书》宰相世系表云：“越公房本出中山相结次子继。生晖，洛州刺史，谥曰简。生河间太守恩，恩生越恭公钧，号越公房。”