督陈大受之子。干隆二十年（1755年），以荫生授户部员外郎，后迁郎中。干隆三十四年（1769年）十二月，任广西巡抚，干隆三十五年（1770年），请修灵渠；干隆三十六年（1771年）九月，任湖北巡抚；官至闽浙总督。干隆四十六年七月，奉命查抄甘肃冒赈案事主王亶望的家产，以四、五万两白银盗换了价值九万余两的黄金，隐藏玉器，将贵重器物多佔为己有。干隆四十八年（1783年）二月，被赐死。 着有《陈辉祖奏稿》。其弟陈严祖在甘肃冒赈案中被处死。陈辉祖本受干隆器重，承办王亶望贪污案，惜因办案过程中目睹王贪污巨款甚多