史来到，陈方泰又滞留不回京。回京后，朝廷下诏任命他为宗正卿，依然任职将军、佐史。但尚未拜授，就给御史中丞宗元饶弹劾免官，回到王居。太建十一年（579年），他担任宁远将军，任职尚书省，不久加散骑常侍，酌量加置佐史。当年八月，陈宣帝临幸大壮观阅兵，命都督任忠在玄武湖领步骑十万，都督陈景领舰只五百出巡瓜步江，宣帝登上玄武门观看，宴请群臣一同阅兵，又临幸乐游苑，设下丝竹会，接着回到大壮观，集合众军回京。其时陈方泰应该跟随，但他上奏启母亲生病不行，与亡命之徒杨钟期等二十人微服到民间姦淫人妻，被州所记载，又带头抵抗