于成龙的官职虽越升越高,但生活却俭朴如故。他带头实践“为民上者,务须躬先俭朴,作百姓道德表率”。去直隶,他“屑糠杂米为粥,与同仆共食”,在江南是“日食粗粝一盂,粥糜一匙,侑以青菜,终年不知肉味。以节省之粮赈济灾民饥民。”江南人民因而亲切的称他“于青菜”。总督衙门的官吏在严格的约束下,“无茶可饮,采槐叶充之,日久,衙后槐树,枝朗叶疏。”他天南地北为官二十余年,不带家眷,结发妻阔别二十年后才得一见。他的志节清操,享誉当时,据载,当他出任两江总督的消息传出后,南京布价骤然上涨,“金陵阖城尽换布衣,士大夫减驱从、尚节俭,尽改奢靡之风……奸佞人等不得不迁往他处。”
于成龙心为百姓,招致了一些权贵的不满,这些人四处散布流言蜚语,大肆诋毁他。朝中有人借机弹劾他,说他年老昏聩,越来越蜕化变质。康熙皇帝是一位有德明君,深知于成龙是位好官。他没有听信谗言,进行了调查并诏命于成龙回奏申诉,核实后说:“朕广泛听取了众人的评论,都称赞于成龙廉洁如初。因为他刚正不阿,才会有坏人进谗言诬告他。做官象于成龙这样的,天底下能有几人呢?”康熙让朝廷将于成龙的事迹昭告天下,广为传颂。