胜久相继死亡后，大难不死的龟井兹矩只好继续替羽柴秀吉效力。1581年（天正9年），龟井兹矩跟随羽柴秀吉参加中国攻略，在攻陷吉川经家镇守的鸟取城的战役中有功，年仅24岁的龟井兹矩被任命为因幡国鹿野城的城主，连城中的山名氏人质也交由他看管，拥有气多郡一万三千石的领地。1582年爆发本能寺之变后羽柴秀吉率军东归，派兹矩留守鹿野城，担任监视毛利家动向，保障秀吉军后方的任务。此后成为秀吉的家臣，在丰臣政权建立之后负责经营银山、开拓、建立水路设施等行政事务。后来丰臣秀吉发起侵略朝鲜的文禄·庆长之役时，龟井兹矩率领水