本多正纯仲介下，所领不变，依然是山家藩主。后来2代藩主谷卫政将领地分出给弟弟谷卫冬一千五百石（梅迫谷家）、姪儿谷卫之两千五百石（上杉谷家）、谷卫清两千石（十仓谷家），石高降为一万石，此后谷氏作为山家藩藩主延续了13代，直到明治时代后，山家藩因为长年与公家通婚，早早投效明治政府，在废藩置县后于1884年（明治17年）被列为子爵。