三年级时，于1970年在公务人员高等考试及格而成为公务人员。伍氏其后利用公余时间进修，于研究所取得硕士学位毕业。1981年，伍锦霖以最优等成绩通过甲等特考，晋身高级文官的行列。其后，他历任台北市政府及台湾省政府科员、专员、组长、科长、主任秘书、参议、台湾土地银行副总经理、台湾省农工企业股份有限公司总经理等职务。伍锦霖在李登辉任台北市市长时，未随林洋港赴省府高升，而是追随李氏调升市府工务局。伍锦霖深获李登辉信任，在李氏担任省主席期间（1981年至1984年），连私人行程也由伍锦霖陪同。结果，在李登辉出任省