下田荣芳却独断的擅自继任，遭到以田渊因硕夫人一派的人反对，惠下田便将这些人逐出井上家，隔年惠下田宣布继承撤回而和解，该年底终于确认继承为第十六世井上因硕，后世称之为井上惠下田因硕或直接称之惠下田荣芳。1921年六段，并举办继任家督的大会，秀哉名人、方圆社前社长中川龟三郎、社长广濑平治郎、雁金准一、加藤信等名人均有出席。之后把浪花会、晓钟会等为其研究会整併，并复办1918年解散的关西围棋研究会。1924年棋界大统一，出现了日本棋院，日本棋院多次劝诱惠下田因硕放弃家元并加入日本棋院，甚至授与名誉九段