1960年代在高主教书院就读小学和中学，及后在中六时由高主教书院转到圣马可中学。又因当时圣马可中学没有中七课程而转到圣士提反女子中学完成中七的课程，成为女校男生。张永霖在大学时期为宿舍费及饮食费而四处张罗，曾在晚上到西区街坊福利会教授英文。1971年于香港大学经济及政治科学系毕业后，他加入国泰航空公司工作23年，曾任国泰航空台湾分公司总经理（就任期间发生了桃园机场事件）及副董事总经理，并于1989年获当时香港总督卫奕信的邀请，被全职借调入香港政府的中央政策组工作。1994年，张永霖加入香港电讯出任行政总裁，