庭园等建筑物被认为是忠世所建。在天正10年（1582年）6月的本能寺之变后，家康在甲斐和信浓扩张势力，忠世成为信州惣奉行（信州总奉行）而在小诸城担任在番，并担任依田康国的后见人。天正13年（1585年）的上田合战中与鸟居元忠和平岩亲吉一同参战，不过败给真田昌幸。另一方面，在政治上亦相当优秀。在同一时期，协助因为反抗家康而被追放的本多正信回归，以及训斥年轻时就很有声望的井伊直政。天正18年（1590年）家康因为后北条氏的灭亡而移封至关东，被丰臣秀吉命令接收小田原城4万5千石。在文禄3年（1594年