1873年（明治6年）6月、2代目斎藤弥九郎（神道無念流）主催の官許撃剣揮槍会に出場。1877年（明治10年）、西南戦争に陸軍看護長として従軍。1879年（明治12年）、埼玉県から上京してきた高野佐三郎に山岡鉄舟の道場を紹介する。1879年（明治12年）12月、警視庁四谷警察署撃剣世話掛に就任。四谷箪笥町に道場を開き、勝海舟に「習成館」と命名される。その後習成館は四谷区内を数度移転する。1882年（明治15年）11月25-26日、第1回向ヶ岡弥生社撃剣大会で、巡査除川喜十郎（旧和歌山藩士、田宮流）、巡査間宮永吉と対戦。1883年（明治16年）11月4日、第2回向ヶ岡弥生社撃剣大会、槍術の部、剣術の部に出場。槍術の部では宮内省奥政明と、剣術の部では埼玉県巡査幡生輝馬（旧川越藩士、北辰一刀流）と対戦。1884年（明治17年）11月8日、第3回向ヶ岡弥生社撃剣大会で、千葉県警部金田武司に勝利。1886年（明治19年）頃、警視流木太刀形に鞍馬流の形「変化」が採用される。1894年（明治27年）7月7日付の読売新聞に衛守を讃える記事が掲載される。この頃、日本と清国の緊張が高まったことにより入門者が増える。1904年（明治37年）8月31日、門人橘周太（陸軍少佐）が日露戦争で戦死。1908年（明治41年）11月4日、長男心一郎（日本橋警察署武術教師、習成館の跡継ぎ）が病死。次男勧が急遽早稲田大学を中退して習成館を後継し、その後警視庁に出仕。1911年（明治44年）、大日本帝国剣道形制定の委員を務める。1915年（大正4年）8月、大日本武徳会から範士号を授与される。1918年（大正7年）、習成館を西信濃町に移転。1924年（大正13年）4月26日、孫鐵雄が誕生。1925年（大正14年）9月10日、死去。享年76。
エイバリーン（Aibileen）、ミニー（Minny）、スキーター（Skeeter）の3人の女性の友情の物語。舞台は1960年代初頭、黒人差別が色濃く残るアメリカ合衆国南部ミシシッピ州ジャクソン。物語は一章を除き、3人の視点から交互に語られる。スキーターは裕福な白人家庭の出身で作家になることを夢見ている。父は多くの黒人を雇って綿花業を営んでいる。黒人メイドのエイバリーンは、数多くの白人家庭で掃除や子どもの世話をしてきた。24歳の一人息子を事故で亡くしたショックから仕事を休んでいたが、再開してリーフォルト（Leefolt）家で2歳になるメイ・モブリー（Mae Mobley）の世話をするようになった。ミニーはエイバリーンの親友で、料理の腕前は確かなのに口癖が悪いことからいつも雇い主とトラブルを起こし、19回もの解雇歴のある黒人メイド。暴力的な夫とたくさんの子どもを抱えて、今は耳が悪いウォルターズ夫人（Mrs. Walters）に仕えている。ウォルターズ夫人の娘で、地元婦人会ジュニアリーグ（en:Junior League）の会長でもあるヒリー・ホルブルック（Hilly Holbrook）が物語の悪役で、3人と激しく対立することになる。スキーターは自分を大事に育ててくれた黒人メイドのカンスタンティーン（Constantine）を子どものころから慕っていて、大学に入学して実家を離れても文通を続けていた。最後の手紙には大学を卒業して帰ってきたら見せたいものがあると書いてあり、再開を楽しみにしていたが、実家にはカンスタンティーンの姿はどこにもない。娘がいつ結婚するのかだけに気をもんでいる母は、カンスタンティーンはシカゴの家族と一緒に住むために突然仕事を辞めた、としか言わず、それ以上詳しいことは教えてくれない。いったい彼女に何が起きたのか突き止めようとするが、誰も教えようとはしない。スキーターは友人であり、メイ・モブリーの母でもあるエリザベス（Elizabeth）の家で、ヒリーとその母ウォルターズ夫人と毎週トランプゲームの会をもっていた。あるときヒリーが、各家庭は黒人メイドのために別のトイレをつくるべきだと主張して、スキーターにジュニアリーグの会報誌にキャンペーン記事を掲載するよう依頼する。スキーターは嫌悪感を覚え、友人の黒人メイドたちが白人とはまったく異なる扱いを受けていることに気づく。スキーターはニューヨークの女性編集者から本心から書きたいテーマを探すことをアドバイスされ、黒人メイドの視点から黒人メイドの世界と雇い主の白人の本当の姿を描くことを決心する。そのためには黒人メイドに取材する必要があったが、白人と黒人の交わりが忌避され人種隔離政策が採られていた南部では、それはリスクが高い大変困難な事業であった。スキーターになかなか心を開かないエイバリーンであったが、エリザベスがエイバリーン専用のトイレを作ったのをきっかけに、スキーターの取材に応じることになった。ヒリーに解雇されて別の白人女性に仕えるようになったミニーもエイバリーンの姿を見て協力するようなる。スキーターは苦労しながらも黒人メイドたちの信頼を徐々に獲得し、また黒人メイドたちもあまりにひどい不当な扱いに自発的に協力するようになり、原稿はついに完成した。その過程でスキーターはカンスタンティーンに何が起きたかも突き止める。一方、執筆の代償はスキーターにとっても大きく、白人の友人と婚約者すべてを失ってしまう。出版されるとスキーターの本は大きな反響を呼んだ。地名や人名は仮名にしてあったため、ヒリーは犯人探しを始め、友人たちに黒人メイドを解雇するよう差し向けた。本のおかげでニューヨークの出版社に就職が内定したスキーターは、そんな黒人メイドたちが気がかりではあったものの、エイバリーンにジャクソンには何も残っていないという助言を受けてニューヨーク行きを決心する。ヒリーの差し金で解雇されたミニーの夫は、怒ってミニーを殺そうとする。命からがら逃げ出したミニーはエイバリーンと電話で会話し、夫から自立して生きていくことを決心する。エイバリーンもヒリーの謀略にはまりエリザベスに解雇され、愛するメイ・モブリーと涙の別れをすることになるが、帰るバスの中でどうやって人生をやり直すか考える。登場人物たちは本の執筆を通して、二人の女性の間には何も分け隔てるものがないこと、お互いを理解しあえることを知る。