由林罗山子孙主宰。因此山鹿素行被人怨恨，自以为犯下死罪，而向当时担任安房守一职的北条氏长写信道：1666年他被信奉朱子学的会津藩主保科正之流放到播磨国赤穗藩，教导赤穂藩士。元禄赤穗事件中的大石良雄也是其门人之一。1675年（延宝3年）被准许回到江户教授兵法，影响了吉田松阴等人。松阴自称“自幼就以山鹿氏之兵学为业，以武士道为心要，以死为常心。” 其着《武教全书讲录》，一开始就说：如果希望懂道，就请接受山鹿先生的教导，自古至今，该读的书有那么多，而我特别信任素行先生。1685年山鹿素行去世、享年63岁。墓