また、山三郎の妹2人が森家重臣の小沢彦八、各務正休と婚姻を結んだため、山三郎は森家中で大きな発言力を持ったが、それを快く思わない同僚の井戸宇右衛門とは仲が悪く度々、口論など諍いを起こしたとされている。
而且因为两个妹妹分别是森家的重臣小泽彦八和各务正休的妻子，所以在森家中持有很大的发言力，不过与同僚井户宇右卫门的关系恶劣，双方曾多次发生争执。