。父亲是一名于摩利臣山道商舖工作的裁缝。杨振耀就读位于铜锣湾东院道的佛教黄焯菴小学（1966年毕业）和佛教黄凤翎中学（1971年中五理科、1972年中六文科）。在校时曾考获全班第一。因为小时候的活动范围窄，他就读中三期间才首次与同学参观九龙庙街。又当过摩理臣山泳池暑期储物管理员。杨振耀考获不错的香港中学会考成绩，有B级和C级等第。升读中六后转读文科预科班，且以香港中文大学入学资格考试佳绩考入香港中文大学。而黄宏发是其当时的大学老师。在学阶段会与大学同学登山涉水。他后来在1976年毕业于香港中文大学政治与行政