在1951年，韦辉发表《韦辉报告》（Wakefield Report），这份报告与前一份的《麦道轲报告》（McDouall Report）一样，除探讨香港的贫民区问题外，又研究为贫民建造永久性居所。不久以后，韦辉在1952年初获委任为徙置主任，负责为从中国大陆南逃来港的难民、以及其他因为灾害而流离失所的居民建造一些简陋的徙置区，早期的徙置区包括港岛的摩星岭公民村和九龙的东头村等。徙置区是徙置大厦的前身，在1953年12月，九龙石硖尾寮屋区发生大火，造成50万人无家可归，港督葛量洪爵士事后决定兴建徙置大厦安置