1975年西贡沦陷后结束，到1979年越南国内再出现排华浪潮，造成大批越南船民逃难到亚洲其他地区，单是这20余年间，就有大约20.3万人乘船偷渡至珠江三角洲。港府有见当时涌入香港的船民，便持开放态度及安排地方和人手以收容他们。1978年，港府决定在前皇家空军基地改建为启德难民营，并让监狱署接管，自此该署开始参与管理越南船民的工作。同年监狱署亦清走在大屿山塘福的蔴埔坪戒毒所内的犯人并开辟多一间营舍，原本负责监管犯人的职员，亦开始需要同时照料那些长途跋涉的异域来客，而且这些人并不是犯罪分子，而是需要尊严的妇孺。