光绪二十六年（1900年），刘心源升任江西督粮道道员。二十七年（1901年），署理江西按察司。二十八年（1902年），调补川东道道员，同年又调赣南道道员。二十九年（1903年），简放广西按察使，不久署广西布政司。诰授荣禄大夫、赐二品花翎顶戴。当时，两广总督岑春煊正在督办剿灭土匪事宜，遂与广西巡抚柯逢时会奏，以“按察使刘，严重有度，韬略夙优”，调刘心源“出省周历督剿”。此后驻柳州行营。光绪三十年（1904年），岑春煊奏拨刘心源提督三营。不久，他率军回省，并告病。光绪三十一年（1905年）开缺回乡。光绪