他也是第一个力士，摒弃了与他的部屋亲方女儿结婚的传统，而是选择来自一个富有的关西家庭的年轻女儿。他们的婚礼在1939年4月在东京举行。而亲方的女儿与另一位力士羽黑山政司结婚。
退休后.1945年6月的比赛是在被炸弹损坏的两国国技馆举行，几乎没有任何观众，在第一天比赛后退出。他没有参加1945年11月的比赛，并宣布他退休，理由是反对美国占领当局命令相扑协会扩大土俵范围，然而，他实际一年前败于另一力士东富士钦壹后已做出退休的决定。他后来成为自己部屋，双叶山道场的领导（在1941