1894年8月光緒對日宣戰，他在中日甲午战争中任第一旅团长，从广岛出发前往東海。临行前明治天皇送行。在酒会上乃木希典赋汉诗一首献给天皇：“肥馬大刀尚未酬，皇恩空浴几春秋。斗瓢傾盡醉餘梦，踏破支那四百州。”之后参加旅顺口之战，期间其前線同僚山地元治的部隊发起旅顺大屠杀，数千至数万名中国民众遭日军屠杀，致使日本国际形象遭到极大打击。1895年8月20日，因為戰功而被封為男爵。