公辅不再得到德宗器重，相反却连番贬谪。任太子左庶子后不久，公辅遇母丧解职，其后复任右庶子。792年（贞元八年）农历十一月，姜公辅以久未调迁为由，找陆贽求迁，陆贽知道相关内情，回覆说丞相窦参已曾为公辅向皇帝求请，但皇帝仍怒，故不允。公辅恐惧，上疏辞职，求为道士，德宗质询其由，公辅不敢供出陆贽，乃说从窦参得知。德宗听后更怒，贬公辅为泉州别驾，窦参亦遭德宗斥责。
晚年生活.姜公辅自从792年（贞元八年）被贬为泉州别驾，至805年（贞元二十一年）去世，都在泉州度过。姜公辅贬谪泉州后，认识了