。龟井兹矩遂投入正与毛利家交战的织田家部将羽柴秀吉帐下，转战播磨国。1578年上月城被毛利家攻陷，尼子氏灭亡。山中鹿之介与尼子胜久相继死亡后，大难不死的龟井兹矩只好继续替羽柴秀吉效力。1581年（天正9年），龟井兹矩跟随羽柴秀吉参加中国攻略，在攻陷吉川经家镇守的鸟取城的战役中有功，年仅24岁的龟井兹矩被任命为因幡国鹿野城的城主，连城中的山名氏人质也交由他看管，拥有气多郡一万三千石的领地。1582年爆发本能寺之变后羽柴秀吉率军东归，派兹矩留守鹿野城，担任监视毛利家动向，保障秀吉军后方的任务。此后成为秀吉的