曾就读马头涌官立小学，后于1966年入读金文泰中学，并于1972年毕业。他在校时曾为该校的图书馆管理员。1976年，吴克俭在香港中文大学社工系毕业。1977年，吴克俭担任社联教育委员会秘书，后来成为人力资源管理顾问。1981年，吴克俭完成香港大学社会科学硕士课程。1980年代，吴克俭历任摩托罗拉及飞利浦等出任人力资源管理职位，于1980年代中后期至1990年代初期兼职执教香港理工大学及香港管理专业协会所举办的人事管理学课程。2002年，吴克俭获李国章邀请出任香港教育学院校董会成员。他在教院风波聆讯时担任校董