宗听说后开始讨厌他。淳熙十年（1183年），特落阶官，予京祠，改外祠，被言官弹劾，谪建州居住。没收财产入德寿宫，推荐的人都被除名。他的花园，规模胜于宫苑，宋高宗赐给王才人。宋光宗即位，召还陈源。绍熙四年（1193年），自拱卫大夫、永州防御使转任至入大内内侍省押班。宋宁宗即位，他和内侍杨舜卿、林亿年在泰安宫侍奉太上皇宋光宗。御史劾他离间君亲。陈源罢官，之后移居婺州，在贬所狎妓，当时有人怀疑他并不是真正的宦官。