雄之助ら遺児3兄弟は祖父の世話を受けることになったが、祖父が2年後に亡くなると親戚中から冷遇され、さらに雄之助は他の兄弟たちと比べのろまで不器用だったことから“紀ノ国屋の場違い小僧"と罵られるなど、苦労の多い幼年期を過ごした。