石硖尾寮屋区发生大火，造成50万人无家可归，港督葛量洪爵士事后决定兴建徙置大厦安置灾民，并在1954年1月成立一个徙置事务小组委员会主持督导工作，该委员会由市政局议员祁德尊任主席，而韦辉也是成员之一。在小组委员会的建议下，港府在1954年4月正式成立徙置事务处，专责规划和兴建徙置大厦，自此港府才正式负起营建公营房屋的责任。韦辉在1954年4月转任合作社註册官兼统营处处长（Registrar of Co-operative Socities and Director of Marketing），主理农业和