伟与他现在较少联络。杨英伟自小学二年级起已经能够过目不忘，因此考获全级第一的成绩。当时，他不但没有得到父母赞赏，反而被对方嫌弃和责备。因此令杨英伟一度想放弃读书。幸而他在中三时成为基督教徒，加上自己生性乐观，所以可以捱过不快的成长经历。中学时期的他曾到红灯山用羽毛球拍捉蜻蜓。他在1980年中学毕业后先报读香港浸会学院（现香港浸会大学持续教育学院）基础课程（1980年至1982年；相当于中六及中七预科课程），再修读该学院的中文系文凭（1982年至1985年；同届同学有前香港立法会议员郑家富），在香港中学会考中