实际一年前败于另一力士东富士钦壹后已做出退休的决定。他后来成为自己部屋，双叶山道场的领导（在1941年身兼力士与部屋主人二职，但现在禁止），他退休后，他重新命名他的部屋为时津风部屋。它于1950年代成为相扑界最大的部屋之一，并培养出如镜里喜代治、北叶山英俊、豊山胜男等有名力士。他继续负责该部屋运作，直到他于1968年死于肝炎。从1957年起，他也是日本相扑协会的主席（或称为理事长）。在他担任主席期间，他进行了一些重要的改革，如给予排在前两位的力士（横纲、大关）月薪，并把年寄和行司强制退休年龄定为65岁。