陈源（字虎臣）的三子之一。其父早逝，母为台湾府同知张学尹之女，通诗书，以教子。光绪八年（1882年）壬午科湖南乡试第一名举人（解元），与胞兄陈毓光同榜。光绪十五年（1889年），参加光绪己丑科殿试，登进士二甲9名，与胞兄陈毓光、陈毓昌同榜。同年五月，改翰林院庶吉士。光绪十六年四月，散馆，授翰林院编修。历任京畿道监察御史、江南道监察御史，1903年开始任漳州知府，任内“三遇水灾”，他筑堤救灾，受到当地人的拥戴。1911年武昌起义后，作爲漳知府的陈嘉言挂印回湘，因缺乏路费而将两个幼女以800银元之价卖给漳州富商