伺中国地方，为了得到帮助，龟井兹矩决定率尼子氏余党臣服于织田信长。而织田信长也希望利用尼子氏的余党来对抗毛利氏，因此给予其支持。龟井兹矩遂投入正与毛利家交战的织田家部将羽柴秀吉帐下，转战播磨国。1578年上月城被毛利家攻陷，尼子氏灭亡。山中鹿之介与尼子胜久相继死亡后，大难不死的龟井兹矩只好继续替羽柴秀吉效力。1581年（天正9年），龟井兹矩跟随羽柴秀吉参加中国攻略，在攻陷吉川经家镇守的鸟取城的战役中有功，年仅24岁的龟井兹矩被任命为因幡国鹿野城的城主，连城中的山名氏人质也交由他看管，拥有气多郡一万三千石