辉扬为一名会八种欧洲语言的语言学家，母亲则为家庭主妇。由于其家拥有不少藏书，所以他中学时便阅过不少书籍，比如罗素、马克思等人的着作，以至《男性性行为》、《性史》、《花花公子》等跟性有关的书籍。吴敏伦在小中学时期曾三度转校，最后毕业于传统天主教名校香港华仁书院，成绩处于中游水平。之后在1965年按父亲期望入读香港大学医学院，1971年毕业，后来毕业后继续任该院的精神治疗学系教授，一边教学一边进行研究工作，在近10年研究后获得博士学位。
相识徐梅.1968年，吴敏伦以笔名吴梓平的名