守时转黄回为斋帅，并且在离任时让黄回跟随自己。元嘉二十八年（451年），臧质出任雍州刺史，又让黄回当斋帅。元嘉三十年（453年）随臧质出兵讨伐弒父登位的刘劭，因功而得脱离军户，并随臧质移镇江州，获擢用为白直队主。孝建元年（454年），黄回随臧质起兵反对宋孝武帝，在兵败后逃到豫章，被军主谢承祖抓住并送到江州作部处作役，期间遇到大赦而得免罪。获赦后黄回到了建康，却在宣阳门处与人殴斗，他假称自己是江夏王刘义恭的马客，遂被鞭打二百并送到右尚方处作役。当时中书舍人戴明宝也因罪而被送到右尚方，就以黄回为户伯差遣，黄回为