徙置事务处长，并退出立法局，但同时改任市政局当然官守议员。在1965年10月，韦辉再代替郏亮同（Robert Hetherington）署任劳工处处长，期间再任立法局官守委任议员。在任内，他在1966年2月主持一个跨部门工作小组，研究制定港府未来在社会保障方面的政策。韦辉在1966年9月卸任署任劳工处处长，但继续主持工作小组，最终在1967年发表工作小组报告。
晚年生涯.韦辉在1967年从港府退休，返回英国定居。离港前，他特别向长洲乡事委员会捐款，希望善款能用作福利用途以惠及长