锦霖在国立屏东高级中学初中毕业后，原本因为教师在毕业后有稳定工作和在学期间花费不大，而报考师范专科学校，亦在认真准备第一届师专考试后获得录取。但其就读大学的亲戚则劝诫他应该就读一般高中，或许以后发展的路会更宽广。于是伍锦霖听从其建议，辗转北上转到台北市立成功高级中学就读。高中毕业后，伍锦霖于国立政治大学公共行政学系毕业，并于大学三年级时，于1970年在公务人员高等考试及格而成为公务人员。伍氏其后利用公余时间进修，于研究所取得硕士学位毕业。1981年，伍锦霖以最优等成绩通过甲等特考，晋身高级文官的行列。其