В начале войны с Японией, 15 марта 1904 года, генерал-майор Самсонов принял командование Уссурийской конной бригадой. С первого своего боя — 17 мая под Юдзятунем — он приобрел репутацию идеального кавалерийского командира. Юдзятуньское столкновение вошло в историю как один из двух победоносных кавалерийских боев российско-японской войны, в котором казаки практически полностью уничтожили японский эскадрон за считанные минуты. Молниеносному успеху казаков в этом сражении способствовали их пики, против которых вооруженные саблями японцы оказались беспомощны. При Вафангоу конница генерала Самсонова осуществила обход 4-й японской дивизии, что решило судьбу битвы. Потом Самсонов участвовал в боях возле Сеньючена, под Гайчжоу и Ташичао (набег на Инкоу), в Ляоянской битве. Командуя фланговым отрядом, он отразил атаку японской гвардейской бригады, а во время отступления занял четырьмя сибирскими казачьими полками с конной батареей Яньтайскую позицию и удерживал её, пока русские корпуса организованно отходили на север. 2 сентября 1904 года Самсонов возглавил Сибирскую казачью дивизию. С ней он участвовал в кровопролитных битвах на р. Шахе, около д. Сандепу, под Мукденом. За заслуги в боях Самсонов был награждён золотым оружием, орденами св. Георгия 4-й степени, св. Анны 1-й степени с мечами, св. Станислава 1-й степени с мечами и получил чин генерал-лейтенанта.