港岛石塘咀的板间房成长，父亲是一名海员兼厨师。吴1962年毕业于圣士提反堂小学，后于1970年在圣公会邓肇坚中学预科毕业后投身社会。当时由于圣士提反堂中学尚未兴办，其父母唯有另觅一所香港圣公会属下的中学让他升学，于是选择了当时原名为「圣公会中学」的圣公会邓肇坚中学。在校期间曾经经历圣公会邓肇坚中学当年未落成新校舍而借用圣保罗男女中学校舍上课的时期。吴雨是该校第二届中五（1968年）毕业生，入读中一时曾留级一年，与香港着名电视节目《劲歌金曲》及演唱会监制杨健恩为同学。而中国香港体育协会暨奥林匹克委员会义务秘书