自中国内地的香港新移民家庭，家有一兄。他与家人于1975年举家由福建厦门移居香港。其父（于2001年9月在马来西亚因中风逝世）曾当地盘工人，而母亲则是嘉顿面包公司的包装员。二人原本替他取名「游彪」，但因为适逢前中华人民共和国国务院副总理林彪倒台，而中华人民共和国国防部部长耿飈当政，所以改用「飈」字以免被批斗。来到香港生活之初，游飈一家租住现时葵兴地铁站附近楼宇单位的一个分租房间。后来定居于屯门紫田村一个名为「小竹园」的地方。当时，时正就读元朗天主教小学的他与家人打住家工，负责包裹运往日本的干鲨鱼鳍。游飈在学