相模國
不過因為忠俊不斷對家光諫言，在元和9年（1623年）10月19日被免去老中的職務，再減封至上總大多喜藩（2萬石），在之後的寬永2年（1625年）被除封，經下總國網戶、相模國溝鄉、遠江國小林，最後在相模國今泉蟄居。在秀忠死後被邀請再次出仕，不過拒絕。