荫生出身，与当时名臣于成龙同名同姓，所以又被称为小于成龙。
生平.康熙七年（1668年），出任乐亭县知县，为官清正，被于成龙提拔为江宁府知府。历任安徽按察使、直隶巡抚。与河道总督靳辅争论开河之议，康熙二十七年（1688年），当时御史郭琇弹劾大学士纳兰明珠专权，小于成龙与慕天颜等诬陷靳辅为明珠一党，事情查明后，康熙帝追究了小于成龙的责任。康熙三十一年（1692年），靳辅去世，小于成龙任河道总督，依然用靳辅之法治河，受到康熙帝的嘲讽。康熙三十五年（1696年），康熙帝亲征噶尔丹，小于成