冈县士族斋藤氏一名女子结婚，于翌年因病而暂时休职，同年12月复职，出任横须贺屯营副长。一年后病情加重，1887年出任造船会议议员，但于1888年因病情过份严重而被命令休职。1891年再次被编入预备役，于1892年死去，终年三十九岁。死后葬于港区都营青山灵园。
家庭.胜小鹿为胜海舟嫡长子，原本是要继承胜伯爵家，但由于他早逝，于是由幕府将军德川庆喜十男迎娶小鹿之长女伊代子（1888年 - 1922年），成为小鹿的婿养子，于胜海舟逝世后继承胜伯爵家。而小鹿有另一名女儿，名为知代子。