刘冠雄的父亲是一位貧穷的箍桶匠。1875年（光緒2年），刘冠雄入福建馬尾船政学堂駕駛科第4期学习，4年後毕业。此後，刘冠雄不断接受訓練并昇职，1883年（光緒9年）被任命为高速船揚威舰的帮带。1884年（光緒10年）中法战争中，刘冠雄奉命前往福建省。但在途中，为讨伐朝鮮的東学党，刘冠雄奉命改赴朝鮮。