子氏家臣，父亲是尼子家武将汤永纲，母亲为多胡辰敬之女，幼名新十郎。因为娶了尼子家的重臣龟井秀纲的次女，所以在龟井秀纲父子阵亡后，继承龟井氏，改姓龟井。江户时代以后，龟井兹矩成为因幡国鹿野藩的第一代藩主。
生平.龟井兹矩出生在出云国八束郡汤之庄（今属岛根县松江市），旧姓汤氏，是汤永纲的儿子。幼名新十郎，因枪术精湛被称为枪之新十郎。最早他的名字是汤国纲。1566年，毛利元就进攻尼子家主城月山富田城，重臣龟井秀纲父子也在此战中双双阵亡。龟井家长女的夫婿也就是知名的山中鹿之介，他收妻