この時点で政家との不和が噂されるようになっており、文禄4年(1596年)には政家毒殺を企図しているとさえ噂され、直茂は噂を否定する起請文を提出している。