后加盟甲组球队公民出任守门员训练员，2006年获提升为教练，在一场联赛中，公民于开赛仅30分钟内便输2球，廖俊辉认为继续下去只有重伤收场，结果于30分钟便决定换人及改变踢法，最终球队成功赛和对手。翌季带领公民夺得甲组联赛亚军及足总盃冠军，成为2007–08年度最佳教练。2008年夏天，廖俊辉应邀「上山」加盟南华，担任守门员教练。同年9月，南华主教练曾伟忠以健康理由呈辞，由廖俊辉接任主教练，为南华捧走联赛冠军，其后担任南华副领队。2011年6月，廖俊辉辞去南华副领队一职，接受香港队的邀请，成为新任的香港总教练