宗位版，仁宗命辅臣同观。历任集贤殿修撰、知永兴军，改枢密直学士、知秦州。吕公绰通敏有才，其父执政时，多有人找他请托，喜名好进者趋之若鹜。曾漏泄朝廷除拜官职之事以为自己之恩，时人比他为唐朝官员窦申。皇祐三年（1051年）七月被代入京，中丞王举正、知谏院包拯说：“公绰当其父夷简执政时，多所干预，若遽令代还，恐更图进用。”于是诏令他复任。十月，安远砦、古渭州诸羌来献地，吕公绰看着下属说：“天下之大，岂贪图尺寸地以为广？”拒绝了。弓箭手多缺马，吕公绰谕分诸砦户为三等，以十丁为社，到秋收时，募金帛买马，如果马少就