部议所格”，遂未能升迁。光绪二十三年（1897年）调补成都府知府，任内再次因剿匪有功，得到四川总督奎俊保举，署成绵龙茂道道员。光绪二十六年（1900年），刘心源升任江西督粮道道员。二十七年（1901年），署理江西按察司。二十八年（1902年），调补川东道道员，同年又调赣南道道员。二十九年（1903年），简放广西按察使，不久署广西布政司。诰授荣禄大夫、赐二品花翎顶戴。当时，两广总督岑春煊正在督办剿灭土匪事宜，遂与广西巡抚柯逢时会奏，以“按察使刘，严重有度，韬略夙优”，调刘心源“出省周历督剿”。此后驻柳州行