。双叶山在退休后透露，由于他年轻时受伤，实际上他有一只眼睛失明，这使他的成就更加显着。他也是第一个力士，摒弃了与他的部屋亲方女儿结婚的传统，而是选择来自一个富有的关西家庭的年轻女儿。他们的婚礼在1939年4月在东京举行。而亲方的女儿与另一位力士羽黑山政司结婚。
退休后.1945年6月的比赛是在被炸弹损坏的两国国技馆举行，几乎没有任何观众，在第一天比赛后退出。他没有参加1945年11月的比赛，并宣布他退休，理由是反对美国占领当局命令相扑协会扩大土俵范围，然而，他实际一年前败于另