回朝担任宗正少卿，屡次升任光禄少卿、司徒左长史，升任冠军将军，加假仪同三司，升任魏尹，转任大宗正卿，外任代理沧州刺史。天统三年七月己亥朔十五日癸丑（567年9月3日），高孝绪在私人住宅中因病去世，虚岁三十五，皇帝诏令赠予使持节、都督兖州诸军事、卫大将军、兖州刺史、仪同三司、太常卿、修城王如故，天统三年岁次丁亥十一月戊辰朔十八日丁酉（568年1月3日）葬于祭陌河西北五里长岗东面三百步。