原名黎允有（），京北鎮順安府（今屬北寧省）人。1786年，西山軍阮惠帶兵北上推翻鄭主，黎帶領三百人前往北河勤王。昭統帝繼位後，派去鎮守京北。1787年陰曆十二月，武文任率西山軍佔領昇龍後，昭統帝逃往北方，黎與瓓郡公黎維祗一起，將太后阮氏玉素及元子黎維詮一起護送到高平。他與阮輝宿等人護送太后到龍州，兩廣總督孫士毅隨後將一眾人安置在南寧。事畢，黎與阮國棟回到昭統帝身邊。隨後昭統帝派陳名案和黎維亶前往清朝，向乾隆帝請求協助恢復後黎朝。1788年，清軍入越，佔領昇龍，扶昭統帝復位。黎因功封長派侯，同時獲得總兵頂戴。