985年3月，他又被安排出任中华人民共和国审计署审计长。1994年4月，已达到部长级干部退休年龄的吕培俭，离开了已工作九年的审计长职位；被任命为国家开发银行监事会主席。1998年3月，吕培俭当选为第九届全国政协常委。其秘书肖钢后出任中国人民银行副行长、中国银行及中银香港董事长、中国证券监督管理委员会主席和党委书记等职务。