造船会议议员，但于1888年因病情过份严重而被命令休职。1891年再次被编入预备役，于1892年死去，终年三十九岁。死后葬于港区都营青山灵园。
家庭.胜小鹿为胜海舟嫡长子，原本是要继承胜伯爵家，但由于他早逝，于是由幕府将军德川庆喜十男迎娶小鹿之长女伊代子（1888年 - 1922年），成为小鹿的婿养子，于胜海舟逝世后继承胜伯爵家。而小鹿有另一名女儿，名为知代子。另外，胜小鹿有不少兄弟姐妹，同母的有大姐内田梦、二姐疋田孝子、次弟胜四郎；而异母的则有三弟梶梅太郎（随母姓）、三妹