城中的山名氏人质也交由他看管，拥有气多郡一万三千石的领地。1582年爆发本能寺之变后羽柴秀吉率军东归，派兹矩留守鹿野城，担任监视毛利家动向，保障秀吉军后方的任务。此后成为秀吉的家臣，在丰臣政权建立之后负责经营银山、开拓、建立水路设施等行政事务。后来丰臣秀吉发起侵略朝鲜的文禄·庆长之役时，龟井兹矩率领水军参战，在泗川、唐浦港被李舜臣击败，所率船队全遭勦灭，《明史》中的记载龟井兹矩于该役中战死，但实际上死的是龟井兹矩部下，兹矩本人在家臣掩护下逃回日本，后来在1595年（文禄4年）负责伯耆国日野银山的开发。但