岛津名郡从事渔业出身的山口春吉，在1906年前往神户港转行担任海运业「仓桥组」的小工头，1912年加入港湾人工供给业（人力公司）的「大岛组」（组长为人称「运河亲分」的大岛秀吉，「亲分」意指「老大」）担任现场监督保镳。1915年3月，山口春吉在神户市兵库区西出町与另外约50名码头装卸工创立山口组，成为当时大岛组的支系。1925年，山口春吉隐退，由他的长子山口登继承二代目组长。
二代目.1925年，山口登与子分成员34人，在神户市须磨的料亭（高级日本料理店）完成家业传承仪式。