しかし、この直後ぐらいの時期に、城塞修理の課役を放置したことで職務怠慢として蟄居を命じられ、能登国津向村に逼塞したこともあった(後年この逼塞先は、豊臣秀吉から能登蟄居を命じられた浅野幸長の蟄居先として利用されている。