俣城迹残留下来的天守台和向着二俣城筑起的鸟羽山城庭园等建筑物被认为是忠世所建。在天正10年（1582年）6月的本能寺之变后，家康在甲斐和信浓扩张势力，忠世成为信州惣奉行（信州总奉行）而在小诸城担任在番，并担任依田康国的后见人。天正13年（1585年）的上田合战中与鸟居元忠和平岩亲吉一同参战，不过败给真田昌幸。另一方面，在政治上亦相当优秀。在同一时期，协助因为反抗家康而被追放的本多正信回归，以及训斥年轻时就很有声望的井伊直政。天正18年（1590年）家康因为后北条氏的灭亡而移封至关东，被丰臣秀吉命令接