后、经第11代二子山亲方的同意下，藤岛于2004年5月27日移籍至高田川部屋 （实际上是被驱逐出去）。但后来，在睽违四年的新弟子贵天秀在2008年3月入门后，该部屋所属的力士人数逐渐增加，截至2018年9月时共有8位力士在籍。在2012年7月场所后，蒙古出生的贵之岩晋升为新十两，是贵乃花继承部屋后入门的力士中第一个关取。在2010年1月举行的日本相扑协会理事选举中，贵乃花亲方不接受二所之关一门进行的事前协调，因此自己宣布参选并退出二所之关一门。之后，不属于任何一门的贵乃花部屋与大岳部屋组成「贵乃花组