内，与新来的家臣‧天野将曹(或是将监）比赛而获胜。天野虽然是男谷派的同门，但因为有着新来家臣而不能丢脸的脾气，因此不肯「投降」，于是键吉再使出激烈的诸手击招式将天野打倒。另外，他还在京都四条河原斩杀3名土佐藩浪士。庆应2年（1866年）7月，家茂在大坂城过世，他也因此回到江户。11月时，讲武所改称陆军所，组织也进行重整，于是他辞去职位而在下谷车坂开设道场。
维新前后.庆应4年（1868年），上野战争时，键吉虽然未加入彰义队，但却担任轮王寺宫公现入道亲王（之后北白川宫能久亲王）的