1915年3月，山口春吉在神户市兵库区西出町与另外约50名码头装卸工创立山口组，成为当时大岛组的支系。1925年，山口春吉隐退，由他的长子山口登继承二代目组长。
二代目.1925年，山口登与子分成员34人，在神户市须磨的料亭（高级日本料理店）完成家业传承仪式。1928年3月，世界金融恐慌波及到日本，山口组在神户市兵库区古凑通所独占的早市鲜鱼、干货的零售业等经济来源受到打击；同年，山口登中止了对大岛组的上纳金。1929年，因上纳金问题，山口登被大岛秀吉破门、逐出大岛组。