吉原芸妓をしていた宇和島藩士の娘の小島栄を落籍して結婚。