相扑协会告诉斗牙闭门思过两个月，并且减薪20％。他的师匠6代高砂（元小结富士锦勐光）也受降格处分。他因此退出了2001年1月的比赛，并且降到十两。这使得高砂部屋在没有任何幕内力士的情况下保持部屋，这是123年历史上的第一次。然而，斗牙在2001年3月回到土俵后立即重新入幕。2004年，斗牙肩部受伤，最终导致他再次下降到十两。虽然他两次设法暂时返回，但他没有成功地持续回归幕内。他因嵴柱相关的背部问题越来越多，这也是他2006年1月比赛第6天休场的原因，这也减少了他对对手的推力。在3月份灾难性的负越之后，斗