两人青睐及提擕，遂培育他成为一名军人。1867年曾与松方正义一同说服岛津久光购入军舰春日丸，一年后成为春日丸的舰长，同年春日丸于中与开阳号并同参与战争。及后进入兵库军务官，曾任和泉丸舰长、兵部权少丞、兵部少丞，于1871年升为陆军中佐。1872年，兵部省将军队分为陆军及海军两队，林清康选择转投海军。及后曾到海军省军务局勤务和台湾蕃地事务局工作，又先后出任兼水平本部长、海军省副官兼军务局长、东海镇守府副官以及神戸临时海事事务局长，又曾经参加过佐贺之乱、牡丹社事件和西南战争。1880年，因军功而获进升为海军