亲则是嘉顿面包公司的包装员。二人原本替他取名「游彪」，但因为适逢前中华人民共和国国务院副总理林彪倒台，而中华人民共和国国防部部长耿飈当政，所以改用「飈」字以免被批斗。来到香港生活之初，游飈一家租住现时葵兴地铁站附近楼宇单位的一个分租房间。后来定居于屯门紫田村一个名为「小竹园」的地方。当时，时正就读元朗天主教小学的他与家人打住家工，负责包裹运往日本的干鲨鱼鳍。游飈在学期间的成绩差，不过其在操行方面的评级为 A。上中学一年级时，老师指派他做班长。之后由于他的成绩不好，在读完中三后到葵涌工业学院修读文员初级证书课