这时候，他的父亲因患有肺结核而不能工作，一家人在贫民窟生活艰辛。一家本计划途经香港，迁往台湾，但1953年，吴宇森的家园在石硖尾大火中被烧燬，身家、身份证件付之一炬，被逼滞留香港，幸得慈善机构捐赠，他一家得以迁往另一所屋子，可是那地方的治安不好。他家在北河街街头睡了一年多之后，就搬回石硖尾。当时英属香港政府在灾场筑起两层高的徙置区，后来徙置区由两层变为七层，至今七层徙置大厦多已再重建。为了避开那种环境，吴宇森常到深水埗的电影院。他从观赏音乐电影《绿野仙踪》得到纾解。年少的吴宇森爱看西方电影，尤其是《虎豹