以降久松氏が当地を治めたが、安土桃山時代には、徳川家康の関東移封に伴って、豊臣家臣の吉田城(愛知県豊橋市)主池田輝政が上ノ郷城を有した。