黄回亦因其有武勇而在江西与一众楚子交结，并且做劫掠强盗之事。泰始二年（466年），宋明帝即位后未得国内大部分地区支持，很多州郡都支持孝武帝三子晋安王刘子勋的义嘉政权，明宝就上奏明帝让黄回招募江西楚子。最后召得快射手八百人，并假黄回为宁朔将军、军主，随刘勔西伐。黄回先领兵击杀了马头太守王广元，接着刘勔进军寿阳以围攻豫州刺史殷琰，遭到刘顺等军阻碍，刘勔遂选取精兵，命吕安国及黄回领军截取刘顺等军的军粮。他们走到刘顺军后等待两日后遇到杜叔宝所领的运押粮军队，黄回以其手下勇悍的江西楚子一战击溃叔宝部下杨仲怀，全歼