湖南武秀才出身，1859年投效军营，1861年起因战功历经守备，都司，游击，参将，副将，总兵，后并因永州建立战功，获赏顶戴花翎（提督衔），长年率新楚军驻守于湖南。1886年，李惟义前往台湾，协助章高元、林朝栋等人平定罩兰武荣社乱事。1895年，清因甲午战争战败，割台予日本，台日爆发乙未战争。战争期间，李惟义曾参与台方军队对抗日本帝国军。其中，在八卦山战役中，李惟义与吴汤兴、徐骧等将领率领三千至五千人共同防守八卦山与彰化城。