慶長7年（1602年）頃、同族の堀直政と不和になって対立し、病と称し京都伏見にあった亡父の屋敷に隠遁した。
在庆长7年（1602年）期间与同族的堀直政不和而对立，于是称病并前往亡父在京都伏见的屋敷中隐居。