贫民建造永久性居所。不久以后，韦辉在1952年初获委任为徙置主任，负责为从中国大陆南逃来港的难民、以及其他因为灾害而流离失所的居民建造一些简陋的徙置区，早期的徙置区包括港岛的摩星岭公民村和九龙的东头村等。徙置区是徙置大厦的前身，在1953年12月，九龙石硖尾寮屋区发生大火，造成50万人无家可归，港督葛量洪爵士事后决定兴建徙置大厦安置灾民，并在1954年1月成立一个徙置事务小组委员会主持督导工作，该委员会由市政局议员祁德尊任主席，而韦辉也是成员之一。在小组委员会的建议下，港府在1954年4月正式成立徙置事务处