По окончании военных действий в Китае Каульбарс, произведённый в 1901 г. в генералы от кавалерии, был назначен помощником командующего войсками Одесского военного округа. В 1904 г. занял пост командующего войсками округа, а 23 октября того же года, во время русско-японской войны поставлен во главе 3-й Манчжурской армии. В феврале 1905 г. получил в командование 2-ю Манчжурскую армию, по окончании войны вернулся на пост командующего войсками Одесского военного округа. Его действия в период Мукденской операции вызвали сильные нарекания со стороны Куропаткина, возлагавшего на Каульбарса ответственность за её провал. Впоследствии в 1909 г. его поведение при Мукдене стало предметом расследования со стороны особого присутствия Военного совета, которого членом Каульбарс был назначен 23.12.1909.