殊に土御門家にとって大きな争論となったのは、「大黒党一件」と「南都陰陽師」を巡る争論であった。「大黒党一件」は、関東地方を中心に「大黒」と名乗る唱門師(声聞師)が独自に陰陽師の免状を発行していた事が明らかになり、寺社奉行および京都所司代を通して土御門家へ通報があった事で発覚した。「大黒」側は室町期から「左義長(三毬杖)」や軽微な祓を行ってきていた事を理由として陰陽師の任命権保有を主張。対して土御門家は幕府および朝廷より認可を受けた「陰陽道宗家(全国陰陽師支配の権利)」である事をもって反論した。その後の論争の顛末は記録がなく詳細は明らかではないが、土御門家江戸役所の体制強化および「関東陰陽道総触頭」の強化がなされている事等から、大黒家の陰陽師免許発行権(任命権)は却下されたとみられる。しかし、大黒家自体は本姓として「安倍氏」を名乗って陰陽寮の正員になっている所を見ると、「大黒党一件」は実質的に”引き分け”となったと言える。南都陰陽師は当時、興福寺の庇護下にあった賀茂朝臣氏庶流幸徳井家との争論である。幸徳井家は陰陽家安倍氏の祖たる安倍晴明の師家である賀茂氏の庶流を標榜している事、そして土御門家が京都不在の時期に陰陽頭を務めていた所から、主に南都(奈良)の唱門師や祈祷者、暦師などに対して「陰陽師」の資格を認可。認可を受けた者は「南都陰陽師」と肩書を付けて暦を頒布したり興福寺の行事における諸祓や祭祀を請け負っていた。「陰陽道宗家」である土御門家は当然ながらこれに対して抗議し、以後は必ず土御門家の認可なしに「陰陽師」を称する事は禁じられた。元より幸徳井家は系統こそ「賀茂氏庶流」を名乗るが、始まりは安倍氏出身の陰陽師が賀茂氏に養子に入った事からなので、いわば幸徳井家は安倍氏土御門家にとっては「親戚」となる。本家筋であり、陰陽頭職を奪還していた土御門家には歯が立たなかった。最終的に順序としては宗家である土御門家、次いで土御門家の分家である倉橋家、そして賀茂氏庶流の幸徳井家となる。